OpenAI, kendi yapay zeka modellerini hacklemek üzere eğittiği bir süper hacker'ı, tehlikeli olduğu gerekçesiyle kafese kilitledi. GPT-Red adı verilen bu model, diğer yapay zeka sistemlerini ele geçirmenin veya sabote etmenin yollarını arayan otomatik bir kırmızı takım yazılımı. Amaç, bu açıkların ürün sürümüne çıkmadan kapatılması. İnsanlar bu işi yıllardır manuel yapıyordu; şimdi OpenAI, yapay zeka güvenliğini otomatikleştirmek için en kapsamlı adımı attı.
GPT-Red, özellikle prompt injection saldırılarına odaklandı. Bu saldırı türünde, bir e-posta, web sayfası veya dosya içine gizlenmiş talimatlar, modeli istenmeyen bir eylem yapmaya kandırıyor. OpenAI, GPT-Red'i gerçek hedefler üzerinde serbest bıraktı ve sonuçlar etkileyiciydi.
Eğitim süreci adeta bir dövüş arenasıydı. GPT-Red, kendini savunan bir dizi modelle karşılıklı oynayarak öğrendi. Başarılı bir saldırıda ödül alırken, savunmacılar da başarılı savunmalarla ödüllendirildi. Savunmacılar güçlendikçe GPT-Red daha sinsi taktikler geliştirmek zorunda kaldı. OpenAI, bu eğitim için şimdiye kadarki en büyük hesaplama kaynaklarını kullandığını belirtiyor.
Sistem Güvenliği
GPT-Red o kadar iyi oldu ki, daha önce hiç görülmemiş bir saldırı türü keşfetti: 'sahte düşünce zinciri' (fake chain of thought). Bu saldırıda modelin özel çalışma belleğine yanlış bir not yerleştiriliyor ve model, yanlış bir bilgiyi doğruymuş gibi kabul ediyor. OpenAI araştırmacısı Chris Choquette-Choo, bunu 'Size 1+1=3 dediğimde ve bunu doğruladığınızı söylediğimde, model 'Tamam, elbette' deyip 3 sonucunu vermesi gibi' diye açıklıyor.
Testler fiziksel dünyaya da taşındı. OpenAI ofisindeki gerçek bir otomatik satış makinesini yöneten Vendy adlı yapay zeka ajanına saldıran GPT-Red, fiyatları değiştirdi, pahalı bir ürünü 50 sente düşürdü ve bir müşterinin siparişini iptal etti. OpenAI bu açıkları bildirdi. Eski bir GPT-5 modeline karşı GPT-Red'in en güçlü saldırılarının %90'ından fazlası başarılı olurken, yeni GPT-5.6'da bu oran %23'ün altına düştü. 2025 testinde ise GPT-Red, insan kırmızı takım üyelerini ezdi: %84 başarıya karşılık %13.
OpenAI, GPT-5.6'yı GPT-Red'e karşı eğitti ve bunu prompt injection'a karşı en sağlam modeli olarak nitelendiriyor. Ancak saldırgan modeli kimseye vermiyor; çünkü yeteneklerinin gerçek ajan kaçırıcıların eline geçmesini istemiyor. Bu, bir laboratuvarın bir şey inşa edip onu yayınlamamaya karar vermesi ilk değil. GPT-Red'in hâlâ kör noktaları var: uzun süreli saldırılarda ve görseller içine gizlenmiş talimatları yakalamada zayıf. İnsan testçiler hâlâ onun kaçırdığı şeyleri yakalıyor. Georgetown CSET'ten Jessica Ji, 'Bence insan uzmanlığı hâlâ çok önemli olacak' diyor. Asıl fikir bir volan etkisi yaratmak: bugünün modellerini yarının modellerini sağlamlaştırmak için kullanmak. OpenAI bunu zaten yapay zekasını daha akıllı yapmak için yapıyor; şimdi güvenliğin de aynı hızda ölçeklenmesini istiyor. Tam bir makale bu hafta içinde yayınlanacak.
Kaynak: thenextweb.com
