OpenAI, büyük dil modellerinin (LLM) en büyük güvenlik sorunlarından biri olan prompt enjeksiyon saldırılarına karşı yeni bir savunma mekanizması geliştirdi. Şirket, GPT-Red adını verdiği otomatik kırmızı takım modelini tanıtarak, yapay zeka sistemlerinin zafiyetlerini insan müdahalesine gerek kalmadan keşfetmeyi hedefliyor. Bu araç, özellikle GPT-5.6 Sol modelini sertleştirmek için kullanıldı ve önceki modellere kıyasla prompt enjeksiyon başarısızlık oranını 6 kat azalttı.
GPT-Red, tıpkı bir insan kırmızı takım üyesi gibi çalışıyor: Bir hedef belirliyor, modele prompt gönderiyor, yanıtı analiz ediyor ve saldırı stratejisini sürekli iyileştiriyor. Örneğin, hassas verileri harici bir sunucuya yüklemek gibi kötü niyetli hedeflere ulaşmak için prompt'ları optimize ediyor. Bu süreç, modelin zayıf noktalarını tespit edip güçlendirmek için kullanılıyor. OpenAI, GPT-Red'in daha önceki modellerde %95'in üzerinde başarı oranına sahip olduğunu, ancak GPT-5.6 Sol'da bu oranın %10'un altına düştüğünü belirtti.
Prompt enjeksiyon saldırıları, kötü niyetli talimatların meşru içeriklerin içine gizlenmesiyle gerçekleşiyor. Örneğin, bir e-posta, web sayfası veya kod deposu aracılığıyla modele zararlı komutlar verilebiliyor. GPT-Red, bu tür saldırıları simüle ederek sistemin dayanıklılığını artırıyor. OpenAI, test sürecinde dahili dizin sızıntısı, sahte ödeme talimatları, AWS kimlik bilgisi hırsızlığı, iki faktörlü kimlik doğrulamanın devre dışı bırakılması ve API anahtarı yönlendirme gibi çeşitli saldırı senaryoları kullandı.
GPT-Red, kendi kendine oyun teorisi (self-play) ile eğitiliyor. Model, çeşitli savunma LLM'leriyle aynı anda eğitilerek hem saldırı hem de savunma yeteneklerini geliştiriyor. Savunma modelleri güçlendikçe, GPT-Red de daha sofistike saldırı yöntemleri keşfetmek zorunda kalıyor. Bu sürekli yarış, modellerin güvenlik seviyesini yükseltiyor. OpenAI, GPT-Red'in GPT-5.1'de insan kırmızı takım üyelerinden daha fazla başarılı saldırı ürettiğini vurguladı.
OpenAI, GPT-Red'in kötü niyetli aktörlerin eline geçmemesi için diğer modellerden ayrı tutulduğunu belirtti. Gerçek dünya testlerinde, GPT-Red, Andon Labs tarafından geliştirilen yapay zeka tabanlı bir otomat makinesine saldırdı. Simülasyonda eğitim aldıktan sonra otonom ajanı hedef alan model, pahalı bir ürünün fiyatını 0.50 dolara düşürmek, yeni bir 100 dolarlık ürünü aynı fiyata sipariş etmek ve başka bir müşterinin siparişini iptal etmek gibi üç hedefe de ulaştı. Ayrıca, Codex komut satırı ajanına yönelik saldırılarda hassas veri sızıntısı başarısı arttı.
OpenAI, GPT-Red'in ilk sürümlerinin Sahte Düşünce Zinciri (Fake Chain-of-Thought) saldırıları gibi yeni bir prompt enjeksiyon sınıfını keşfettiğini açıkladı. Bu saldırılar GPT-5.1'de %95'in üzerinde başarılı olurken, GPT-5.6 Sol'da %10'un altına düştü. Şirket ayrıca, SWE-Bench Pro denetiminde görevlerin yaklaşık %30'unun hatalı olduğunu tespit ederek bu kıyaslamayı kullanmayı bıraktı. OpenAI, GPT-5.6 Sol'ün GPT-Red'in doğrudan prompt enjeksiyonlarında yalnızca %0.05 başarısız olduğunu belirterek, güvenlik konusunda önemli bir adım attı.
Kaynak: thehackernews.com
