OpenAI, büyük dil modellerinin (LLM) en kritik güvenlik açıklarından biri olan prompt enjeksiyon saldırılarına karşı yeni bir savunma mekanizması geliştirdi. Şirket, GPT-Red adını verdiği otomatik kırmızı takım modelinin, insan uzmanların yerini alarak ölçeklenebilir bir şekilde güvenlik açıklarını tespit ettiğini ve bu sayede modellerin geniş çapta dağıtılmadan önce zafiyetlerin giderildiğini açıkladı. GPT-Red, tıpkı bir insan kırmızı takım üyesi gibi çalışıyor: Hedef modele prompt gönderiyor, yanıtını izliyor ve kötü niyetli bir amaca ulaşana kadar saldırıyı yineleyerek iyileştiriyor.
GPT-Red'in en önemli özelliği, GPT-5.6 Sol modelini adverserial eğitimle güçlendirmesi. OpenAI, bu modelin şimdiye kadarki en sağlam model olduğunu ve doğrudan prompt enjeksiyon benchmark'ında GPT-5.5'e kıyasla 6 kat daha az hata ürettiğini belirtiyor. Bu başarı, özellikle ajan sistemlerin üçüncü taraf veri kaynaklarına bağlanmasıyla artan saldırı yüzeyine karşı kritik bir adım. GPT-Red, e-posta, web sayfası, araç yanıtı veya kod deposu gibi zararsız görünen içeriklere gömülü kötü niyetli promptları tespit ederek modelin güvenliğini artırıyor.
OpenAI, GPT-Red'in eğitim sürecinde self-play pekiştirmeli öğrenme kullandığını açıkladı. Model, çeşitli savunmacı LLM'lerle eş zamanlı olarak eğitiliyor. GPT-Red, başarılı bir prompt enjeksiyon saldırısı gerçekleştirdiğinde ödüllendirilirken, savunmacı modeller saldırıya direnerek orijinal görevlerini tamamladıklarında ödül alıyor. Bu rekabetçi yapı, GPT-Red'in her geçen gün daha sofistike saldırı yöntemleri geliştirmesine yol açıyor. Örneğin, GPT-Red, dolaylı prompt enjeksiyon saldırılarında GPT-5.1'e karşı insan kırmızı takım üyelerinden daha başarılı oldu.
Nasıl Önlem Alınmalı?
GPT-Red'in keşfettiği saldırı türleri arasında sahte zincir-düşünce (Fake Chain-of-Thought) saldırıları dikkat çekiyor. Bu yeni saldırı sınıfı, GPT-5.1'de %95'in üzerinde başarı oranına sahipken, GPT-5.6 Sol'da bu oran %10'un altına düşürüldü. OpenAI, ayrıca geliştirici araçları ve tarama gibi alanlardaki dolaylı prompt enjeksiyon benchmark'larında %97'nin üzerinde doğruluk sağlandığını belirtiyor. GPT-Red'in doğrudan prompt enjeksiyon saldırılarındaki başarı oranı ise sürekli düşüş göstererek %0.05 seviyesine indi.
OpenAI, GPT-Red'in kötü niyetli yeteneklerinin kötü aktörlerin eline geçmemesi için diğer modellerden ayrı tutulduğunu vurguluyor. Gerçek dünya testlerinde GPT-Red, Andon Labs tarafından geliştirilen yapay zeka tabanlı bir otomatik satış makinesine karşı kullanıldı. Simülasyonda eğitilen model, üç hedefin tamamına ulaştı: pahalı bir ürünün fiyatını minimum 0.50 dolara düşürmek, 100 dolarlık yeni bir ürünü aynı fiyata sipariş etmek ve başka bir müşterinin siparişini iptal etmek. OpenAI, sorumlu ifşa sonrası yeni güvenlik önlemlerinin test edildiğini bildirdi.
GPT-Red, ayrıca GPT-5.4 mini tabanlı bir Codex komut satırı ajanına karşı 10 farklı veri sızdırma görevinde test edildi ve GPT-5.5 tabanlı modele kıyasla daha fazla hassas veri sızdırmayı başardı. OpenAI, bu tür otomatik kırmızı takım modellerinin, insan uzmanların gözden kaçırabileceği yeni başarısızlık modlarını keşfetmede kritik rol oynadığını belirtiyor. Şirket, aynı zamanda SWE-Bench Pro benchmark'ının %30'unun kırık olduğunu tespit ederek bu benchmark'ı önermekten vazgeçti ve daha güvenilir değerlendirme yöntemlerine yöneldi.
Kaynak: thehackernews.com
