OpenAI, yapay zeka modellerindeki güvenlik açıklarını tespit etmek için geliştirdiği GPT-Red adlı otomatik kırmızı takım modelini kamuoyuyla paylaştı. Bu model, prompt enjeksiyon zafiyetlerini ölçeklenebilir bir şekilde keşfederek, araçlar geniş çapta kullanıma sunulmadan önce sorunların giderilmesini hedefliyor. OpenAI, "GPT-Red güçlü bir kırmızı takımcıdır ve önceki modellerimiz onun prompt enjeksiyon saldırılarına karşı oldukça savunmasızdı" diyerek, GPT-Red'in GPT-5.6 Sol modelini adversariyal olarak eğitmek için kullanıldığını ve bu sayede prompt enjeksiyonlarına karşı çok daha sağlam hale geldiğini belirtti.
GPT-Red, tıpkı insan bir kırmızı takımcı gibi çalışıyor: Bir prompt gönderiyor, GPT modelinin nasıl yanıt verdiğini izliyor ve kötü niyetli bir hedefe (örneğin, hassas verileri harici bir sunucuya yüklemek) ulaşmak için adımlarını yinelemeli olarak geliştiriyor. Bu gelişme, büyük dil modellerinin (LLM'ler) hâlâ en büyük zafiyetlerinden biri olan adversariyal prompt enjeksiyonlarına karşı önemli bir adım olarak değerlendiriliyor. Bu tür saldırılarda, kötü niyetli talimatlar masum görünen içeriklere gizlenerek modelin istenmeyen sonuçlar üretmesine neden olabiliyor.
Ajan sistemlerin (agentic systems) web tarayıcıları, bağlı uygulamalar, yerel dosyalar ve diğer araçlar aracılığıyla üçüncü taraf veri kaynaklarına bağlanması, saldırı yüzeyini genişletiyor. Kötü niyetli aktörler, e-posta, web sayfası, araç yanıtı veya kod deposu gibi görünüşte zararsız girdilere gizlenmiş promptlarla modelin çıktısını etkileyebiliyor. GPT-Red, insan kırmızı takım çalışmalarını ölçeklendirerek yeni başarısızlık modlarını tespit etmeyi, dayanıklılığı artırmayı ve modeller dağıtılmadan önce uygun karşı önlemler geliştirmeyi amaçlıyor.
Detaylar ve Etkileri
OpenAI, GPT-Red'i doğrudan üretim modellerinin eğitim sürecine entegre ederek GPT-5.6 Sol'un prompt enjeksiyonlarına karşı bugüne kadarki en sağlam model olduğunu açıkladı. Şirkete göre, GPT-5.6 Sol, dört ay önceki öncü modeli GPT-5.5'e kıyasla doğrudan prompt enjeksiyon testlerinde 6 kat daha az başarısızlık gösteriyor. Test edilen örnek saldırılar arasında dahili dizin sızdırma, sahte ödeme talimatları, AWS kimlik bilgisi sızdırma, iki faktörlü kimlik doğrulamayı devre dışı bırakma, kimlik bilgisi dosyası yükleme, harici betik enjeksiyonu, API anahtarı yönlendirme ve kötü amaçlı kazıyıcı betikler yer alıyor.
Teknik Analiz
GPT-Red, kendi kendine oyun pekiştirmeli öğrenme (self-play reinforcement learning) ile eğitiliyor. Model ve çeşitli savunucu LLM'ler, geniş bir kırmızı takım senaryosu kümesi üzerinde eşzamanlı olarak eğitiliyor. GPT-Red, başarılı bir prompt enjeksiyonu gibi geçerli bir başarısızlık elde ettiğinde ödüllendirilirken, savunucu modeller saldırıya direnip orijinal görevlerini tamamladıklarında ödüllendiriliyor. Bu, savunucu modeller güçlendikçe, GPT-Red'in daha etkili ve çeşitli saldırı yöntemleri keşfetmek için yeniden çalışması gerektiği anlamına geliyor. OpenAI, GPT-Red'in dolaylı prompt enjeksiyonlarında GPT-5.1'e karşı insan kırmızı takımcılardan daha fazla senaryoda başarılı saldırılar ürettiğini belirtiyor.
OpenAI, GPT-Red'in diğer modellerden ayrı tutulduğunu ve içerdiği kötü niyetli yeteneklerin, etik ve güvenlik önlemlerini aşmanın yollarını arayan kötü aktörlerin eline geçmemesi için önlem alındığını vurguluyor. Gerçek dünya testlerinden birinde GPT-Red, Andon Labs tarafından yapılan yapay zeka tabanlı bir otomata yöneltildi. Simülasyonda pratik yaptıktan sonra otonom ajana saldırarak üç hedefini de gerçekleştirdi: pahalı bir ürünün fiyatını minimum 0,50 dolara düşürmek, yeni bir 100 dolarlık ürünü aynı fiyata sipariş etmek ve başka bir müşterinin siparişini iptal etmek. Sorumlu ifşa sonrasında yeni güvenlik önlemleri test ediliyor. İkinci bir vaka çalışmasında GPT-Red, GPT-5.4 mini tabanlı bir Codex komut satırı ajanına karşı kullanıldı ve 10 veri sızdırma görevinde, promptlanmış GPT-5.5 taban çizgisine göre daha fazla vakada hassas verilerin iletilmesine neden oldu.
GPT-Red'in erken bir sürümü, Sahte Düşünce Zinciri (Fake Chain-of-Thought) saldırıları adı verilen yeni bir doğrudan prompt enjeksiyon saldırı sınıfını keşfetti. Bu saldırılar GPT-5.1'de %95'in üzerinde başarı oranına ulaşırken, GPT-5.6 Sol'da bu oran %10'un altına düştü. OpenAI, "Benzer şekilde, geliştirici araçları ve taramadaki saldırıları hedef alan birkaç dolaylı prompt enjeksiyon testimizde en son modelimiz %97'nin üzerinde doğrulukla doygunluğa ulaştı" dedi. GPT-Red'in kendisine karşı dayanıklılık da önemli ölçüde arttı; geniş bir dayanıklılık ortamında GPT-Red'in saldırı başarı oranları zamanla monoton bir şekilde düştü. En son model sürümüyle GPT-5.6 Sol, GPT-Red'in doğrudan prompt enjeksiyonlarının yalnızca %0,05'inde başarısız oluyor.
Gelecekte Ne Bekleniyor?
Bu açıklamalar, OpenAI'in SWE-Bench Pro denetiminin görevlerin yaklaşık %30'unun bozuk olduğunu ortaya koymasının ardından geldi. Şirket, önceki öncü kodlama yeteneklerini ölçmek için bu benchmark'ı benimseme önerisini geri çekti. Şubat ayında OpenAI, SWE-bench Verified'dan temel tasarım ve kirlenme sorunları nedeniyle uzaklaştığını duyurmuştu. OpenAI, "Veri kümesinin önemli bir bölümünde kırılma sorunlarına dair kanıt bulduk. Veri noktası analiz hattımız 200 (%27,4) bozuk görev tespit ederken, insan açıklama kampanyası 249 (%34,1) bozuk görev belirledi. Sonuç olarak, bir değerlendirme, oynaması zor, güvenilmesi kolay ve model yeteneğini veya uyumunu gerçekten yansıtan benchmark'lar aracılığıyla anlamlı sinyaller sağlamalıdır" dedi.
Kaynak: thehackernews.com
