OWASP katılımcısı ve Pillar Security CTO ofisinde AI güvenlik araştırmacısı Ariel Fogel, Infosecurity Europe 2024'te yaptığı konuşmada, prompt injection'ın hâlâ çözülmemiş bir mimari sorun olduğunu ve AI gelişimini sekteye uğratabileceğini söyledi. Fogel, AI güvenlik uzmanlarının bu sorunu uzun süredir bildiğini ancak temel düzeyde henüz bir çözüm bulunamadığını vurguladı.
Bunun temel sebebi, büyük dil modellerinin (LLM) girdileri tek bir token dizisi olarak işlemesi ve sistem talimatları, kullanıcı sorguları ile ajan tarafından alınan içerik arasında ayrıcalık sınırlarını güvenilir bir şekilde uygulayacak bir mekanizmanın bulunmaması. Fogel, ajanların araçlara ve eylem yeteneğine kavuşmasıyla bu sorunun daha da tehlikeli hale geldiğini belirtti.
Fogel, pratik riskin değiştiğini, başarılı bir enjeksiyonun artık sadece kötü bir yanıt üretmekle kalmayıp gerçek dünyada bir dizi eylemi tetikleyebildiğini açıkladı. Ajanik AI iş akışlarıyla, araç erişimi olan ajanlar kullanıcı adına adımlar atabildiğinden, enjeksiyon kötü bir çıktıdan aktif bir tehlikeye dönüşebiliyor. 'Çoğu kuruluş, ajanları yönetebildiklerinden daha hızlı dağıtıyor' diyen Fogel, bu hız ve ölçeğin prompt injection'ı geleneksel kontrollerle kontrol altına almayı zorlaştırdığını söyledi.
İnsan operatörler için işe yarayan savunmaların (sanal alan, izin listeleri, manuel inceleme) ajan devreye girdiğinde başarısız olabileceğini belirten Fogel, bazı saldırılarda izin listelerinin aslında istismarı kolaylaştırdığını, çünkü ajanın ihtiyaç duyduğu komutların zaten onaylı olduğunu söyledi. Diğer durumlarda ise ajanın kendi çıktısı sanal alan sınırlarını yeniden tanımlayarak durdurulması amaçlanan kapsamı etkili bir şekilde yeniden yazdı. Fogel, ünlü açık kaynak geliştiricisi Simon Willison tarafından ortaya atılan 'Ölümcül Üçlü' kavramına da değindi: bir AI ajanının özel verilere erişmesi, güvenilmeyen içeriğe maruz kalması ve harici iletişime izin vermesi durumunda prompt injection saldırılarının kritik ölçüde istismar edilebilir hale geldiğini vurguladı.
