OpenAI, büyük dil modellerinin (LLM) en büyük güvenlik sorunlarından biri olan prompt injection saldırılarına karşı yeni bir savunma mekanizması geliştirdi. Şirket, GPT-Red adını verdiği otomatik kırmızı takım modelinin detaylarını paylaştı. GPT-Red, insan güvenlik uzmanlarının yaptığı gibi modelleri test ediyor, ancak bunu ölçeklenebilir ve sürekli bir şekilde yapıyor. Amaç, modeller yaygın olarak kullanıma sunulmadan önce zafiyetleri tespit edip düzeltmek.
GPT-Red, tıpkı bir insan kırmızı takım üyesi gibi çalışıyor. Bir prompt gönderiyor, GPT modelinin nasıl yanıt verdiğini izliyor ve kötü niyetli bir hedefe (örneğin hassas verileri harici bir sunucuya yüklemek) ulaşana kadar saldırısını yineliyor. OpenAI, "GPT-Red güçlü bir kırmızı takım üyesi ve önceki modellerimiz onun prompt injection saldırılarına karşı oldukça savunmasızdı," diyerek modelin etkinliğini vurguluyor.
Prompt injection saldırıları, büyük dil modellerinin en kalıcı tehditlerinden biri olmaya devam ediyor. Saldırganlar, zararsız görünen içeriklere (e-posta, web sayfası, araç yanıtı veya kod deposu gibi) kötü amaçlı promptlar gömerek modelin çıktısını etkileyebiliyor. Ajan sistemlerin üçüncü taraf veri kaynaklarına bağlanmasıyla saldırı yüzeyi daha da genişlemiş durumda. GPT-Red, işte bu noktada devreye girerek insan kırmızı takım çalışmalarını ölçeklendiriyor ve yeni başarısızlık modlarını keşfediyor.
OpenAI, GPT-Red'i doğrudan üretim modellerinin eğitim sürecine entegre etti. Bu sayede GPT-5.6 Sol, prompt injection saldırılarına karşı bugüne kadarki en dayanıklı model haline geldi. Şirkete göre, GPT-5.6 Sol, dört ay önceki öncül modeli GPT-5.5'e kıyasla doğrudan prompt injection testlerinde 6 kat daha az başarısızlık gösteriyor. Test edilen saldırı senaryoları arasında dahili dizin sızıntısı, sahte ödeme talimatları, AWS kimlik bilgileri sızıntısı, iki faktörlü kimlik doğrulamayı devre dışı bırakma ve API anahtarı yönlendirme gibi kritik tehditler yer alıyor.
Teknik Analiz
GPT-Red, kendi kendine oyun takviyeli öğrenme (self-play reinforcement learning) ile eğitiliyor. Model ve çeşitli savunucu LLM'ler, geniş bir kırmızı takım senaryosu kümesi üzerinde eş zamanlı olarak eğitiliyor. GPT-Red, başarılı bir prompt injection gibi geçerli bir başarısızlık elde ettiğinde ödüllendirilirken, savunucu modeller saldırıya direnip orijinal görevlerini tamamladıklarında ödül alıyor. Bu rekabetçi yapı, savunucular güçlendikçe GPT-Red'in daha güçlü ve çeşitli saldırı yöntemleri geliştirmesini sağlıyor. OpenAI, GPT-Red'in dolaylı prompt injection saldırılarında insan kırmızı takım üyelerinden daha başarılı olduğunu belirtiyor.
OpenAI, GPT-Red'in kötü niyetli yeteneklerinin kötü aktörlerin eline geçmemesi için modeli diğer modellerden ayrı tuttuğunu vurguluyor. Gerçek dünya testlerinden birinde GPT-Red, Andon Labs tarafından yapılan yapay zeka tabanlı bir otomata saldırdı ve üç hedefini de başarıyla gerçekleştirdi: pahalı bir ürünün fiyatını minimum 0,50 dolara düşürmek, 100 dolarlık yeni bir ürünü aynı fiyata sipariş etmek ve başka bir müşterinin siparişini iptal etmek. Ayrıca GPT-Red'in erken bir sürümü, Fake Chain-of-Thought (CoT) adı verilen yeni bir doğrudan prompt injection saldırı sınıfı keşfetti. Bu saldırılar GPT-5.1'de %95'in üzerinde başarı oranına sahipken, GPT-5.6 Sol'da %10'un altına düştü. OpenAI, GPT-5.6 Sol'un GPT-Red'in doğrudan prompt injection saldırılarının yalnızca %0,05'inde başarısız olduğunu açıkladı.
Kaynak: thehackernews.com
