Yapay zeka destekli web tarayıcıları, kullanıcı verilerini korumak için tasarlanmış güvenlik önlemlerine rağmen, akıllıca hazırlanmış bir oyun tuzağıyla kandırılabiliyor. LayerX güvenlik araştırmacıları, BioShocking adını verdikleri bir teknikle, altı farklı yapay zeka tarayıcısını ve eklentisini, kullanıcıların giriş bilgilerini kopyalayıp saldırgana göndermeye ikna etmeyi başardı. Bu saldırı, yapay zeka modellerinin gerçeklik algısını manipüle ederek, güvenlik kurallarını devre dışı bırakıyor.
Saldırı, yapay zeka tarayıcılarının çevrelerini gerçek olarak algılaması ve buna göre hareket etmesi prensibine dayanıyor. LayerX, yapay zekayı içinde bulunduğu bağlamın kurgusal olduğuna ikna ederek güvenlik sınırlarının ortadan kalktığını keşfetti. Araştırmacılar, bu yöntemi popüler video oyunu BioShock'tan esinlenerek adlandırdı; oyunda karakter, yanlış bir gerçekliği kabul etmeye manipüle ediliyordu.
LayerX, saldırıyı gerçekleştirmek için kasıtlı olarak yanlış cevapları ödüllendiren bir bulmaca içeren kötü amaçlı bir web sayfası oluşturdu. Örneğin, sayfa iki artı ikinin beş ettiğinde ısrar ediyor ve doğru cevabı veren kullanıcıyı uyarıyordu. Yapay zeka ajanı, yanlış cevapların kabul edilebilir olduğunu öğrendiğinde, kuralları gerçek dışı olarak algılamaya başladı. Aynı etki, prompt injection veya bellek zehirleme yoluyla da elde edilebiliyor.
Gelecekte Ne Bekleniyor?
Gösterimde, yapay zeka ajanı hileli bulmacayı çözdükten sonra, /code adlı bir sayfayı açması ve bir metin kutusunun içeriğini kopyalaması talimatı verildi. Bu sayfa, kurbanın iş GitHub deposuna yönlendiriyordu ve ajan SSH kimlik bilgilerini alıyordu. Şaşırtıcı bir şekilde, ajanlar bu hırsızlığı bir oyun adımı olarak kabul etti ve oyunu bitirmeyi kutladı. LayerX, testte zararsız bir düz metin dosyası kullandıklarını, ancak gerçek bir saldırıda yönlendirmenin, kullanıcının giriş yaptığı herhangi bir siteye, hatta açık sekmelere ve özel depolara işaret edebileceğini vurguluyor.
Altı yapay zeka ajanından hiçbiri, kimlik bilgisi hırsızlığını kurallarının ihlali olarak işaretlemedi. Satıcıların tepkileri farklılık gösterdi: LayerX, OpenAI'nin ChatGPT Atlas'ta sorunu düzelttiğini, Perplexity'nin raporu kapatıp aksiyon almadığını, üç küçük satıcının (Fellou, Genspark ve Sigma) yanıt vermediğini ve Anthropic'in bir yama yayınladığını ancak başarısız olduğunu belirtti. Infosecurity, satıcılarla bireysel olarak iletişime geçti.
Bu tür saldırılara karşı korunmak için LayerX, yapay zeka tarayıcı üreticilerine şu önlemleri almalarını öneriyor: Kullanıcıdan, ajanın giriş yapılmış hesaplardan veri okumasından önce onay istenmeli; ajana normal kuralların artık geçerli olmadığı söylendiğinde bu durum işaretlenmeli; ve kullanıcıların ajanın erişebileceği kaynakları sınırlamasına izin verilmeli. Firma, bu araçların bağlamlarına güvendiğini, bu nedenle bağlamı değiştirmenin yaptıkları her şeyi değiştirdiğini vurguluyor.
Kaynak: infosecurity-magazine.com
