OpenAI, yapay zeka güvenliği alanında çığır açan bir adım atarak GPT-Red adlı otomatik kırmızı takım modelini tanıttı. Bu model, prompt enjeksiyon zafiyetlerini ölçeklenebilir bir şekilde tespit etmek ve araçlar geniş çapta dağıtılmadan önce sorunları gidermek amacıyla tasarlandı. OpenAI'ye göre GPT-Red, önceki modellere kıyasla çok daha güçlü bir kırmızı takım oyuncusu ve önceki modeller bu saldırılara karşı oldukça savunmasızdı. Şirket, GPT-Red'i kullanarak GPT-5.6 Sol'u düşmanca eğitimle güçlendirdi ve onu prompt enjeksiyonlara karşı çok daha dayanıklı hale getirdi.
GPT-Red, tıpkı insan bir kırmızı takım üyesi gibi çalışıyor: Bir komut gönderiyor, GPT modelinin nasıl yanıt verdiğini izliyor ve kötü niyetli bir hedefe (örneğin hassas verileri harici bir sunucuya yüklemek) ulaşmak için adım adım ilerliyor. Bu gelişme, büyük dil modellerinin (LLM) en büyük sorunlarından biri olan düşmanca prompt enjeksiyonlarına karşı önemli bir adım. Bu tür saldırılar, modelleri istenmeyen sonuçlara yol açan özenle hazırlanmış talimatları yerine getirmeye kandırabiliyor.
Aracı sistemler (agentic systems) artık web tarayıcıları, bağlı uygulamalar, yerel dosyalar ve diğer araçlar aracılığıyla üçüncü taraf veri kaynaklarına bağlandıkça saldırı yüzeyi genişliyor. Kötü niyetli aktörler, e-posta, web sayfası, araç yanıtı veya kod deposu gibi görünüşte zararsız içeriklere kötü amaçlı komutlar gömerek modelin çıktısını etkileyebiliyor. GPT-Red, bu tehditleri ölçeklenebilir bir şekilde tespit ederek insan kırmızı takım çalışmalarını tamamlıyor ve yeni hata modlarını belirleyip sağlamlığı artırmayı ve uygun karşı önlemleri geliştirmeyi mümkün kılıyor.
Gelecekte Ne Bekleniyor?
OpenAI, GPT-Red'i doğrudan üretim modellerinin eğitim sürecine entegre ederek GPT-5.6 Sol'un bugüne kadarki en sağlam model olduğunu belirtiyor. Doğrudan prompt enjeksiyon kıyaslamasında GPT-5.5'e kıyasla 6 kat daha az hata oranına sahip olan yeni model, bir dizi saldırı senaryosunda test edildi: dahili dizin sızdırma, sahte ödeme talimatları, AWS kimlik bilgisi sızdırma, iki faktörlü kimlik doğrulamayı devre dışı bırakma, kimlik bilgisi dosyası yükleme, harici komut dosyası enjeksiyonu, API anahtarı yönlendirme ve kötü amaçlı kazıyıcı komut dosyaları.
GPT-Red, kendi kendine oyun (self-play) takviyeli öğrenme ile eğitiliyor. Model ve çeşitli savunucu LLM'ler, geniş bir kırmızı takım senaryoları setinde eşzamanlı olarak eğitiliyor. GPT-Red, başarılı bir prompt enjeksiyonu gibi geçerli bir hatayı tetiklediğinde ödüllendirilirken, savunucu modeller saldırıya direnip orijinal görevlerini tamamladıklarında ödül alıyor. Bu, savunucu modeller güçlendikçe kırmızı takım modelinin de daha güçlü ve çeşitli saldırı yöntemleri keşfetmesi gerektiği anlamına geliyor. Özellikle dolaylı prompt enjeksiyonlarda GPT-Red, GPT-5.1'e karşı insan kırmızı takım üyelerinden daha başarılı saldırılar üretiyor.
Detaylar ve Etkileri
OpenAI, GPT-Red'in diğer modellerden ayrı tutulduğunu ve kötü niyetli yeteneklerin kötü aktörlerin eline geçmemesi için önlem alındığını vurguluyor. Gerçek dünya testlerinde GPT-Red, bir yapay zeka tabanlı otomat satıcısına karşı üç hedefini de başarıyla gerçekleştirdi: pahalı bir ürünün fiyatını minimum 0.50 dolara düşürmek, 100 dolarlık bir ürünü aynı fiyata sipariş etmek ve başka bir müşterinin siparişini iptal etmek. Ayrıca, GPT-Red'in erken bir sürümü, Sahte Düşünce Zinciri (Fake Chain-of-Thought) adlı yeni bir doğrudan prompt enjeksiyon saldırı sınıfı keşfetti. Bu saldırılar GPT-5.1'de %95'in üzerinde başarı oranına sahipken, GPT-5.6 Sol'da %10'un altına düştü.
OpenAI, GPT-5.6 Sol'un GPT-Red'in doğrudan prompt enjeksiyonlarına karşı yalnızca %0.05 oranında başarısız olduğunu belirtiyor. Ayrıca, şirket SWE-Bench Pro denetiminde görevlerin yaklaşık %30'unun bozuk olduğunu tespit ederek bu kıyaslamayı kullanmaktan vazgeçti. OpenAI, kıyaslamaların oynanması zor, güvenilir ve model yeteneklerini gerçekten yansıtan anlamlı sinyaller sağlaması gerektiğini vurguluyor.
Kaynak: thehackernews.com
