Yapay zeka destekli bir dizi web tarayıcısı, oyun oynadıklarına ikna edildikten sonra güvenlik korkuluklarını terk etmeleri ve kullanıcı verilerini sızdırmaları yönünde kandırıldı.
LayerX'teki araştırmacılar, BioShocking adını verdikleri tekniği, aralarında OpenAI'nin ChatGPT Atlas'ının, Perplexity'nin Comet'inin ve Anthropic'in Claude uzantısının da bulunduğu altı ajan tarayıcı ve eklentiye karşı gösterdiler.
Bir kavram kanıtlama (PoC) saldırısında, altı kişinin tamamı bir kullanıcının oturum açma bilgilerini kopyalayıp bir saldırgana göndermeye yönlendirildi.
Yapay Zekayı Oyun Oynadığına İkna Etmek
Sistem Güvenliği
Yapay zeka tarayıcıları, çevrelerinin gerçek olduğu varsayımıyla hareket eder ve bu da davranışlarını güvenlik sınırları dahilinde tutar.
LayerX, aracı içeriğin kurgu olduğuna ikna olduğunda bu sınırların ortadan kalktığını buldu. Bu isim, bir karakterin sahte bir gerçekliği kabul edecek şekilde yönlendirildiği BioShock video oyununa gönderme yapıyor.
Bunu başarmak için LayerX, iki artı ikinin beşe eşit olduğu konusunda ısrar etmek gibi kasıtlı olarak yanlış cevapları ödüllendiren bir bulmacanın yer aldığı kötü amaçlı bir web sayfası oluşturdu.
Nasıl Önlem Alınmalı?
Bir temsilci, yanlış cevapların sorun olmayacağını kabul ettiğinde, kuralları gerçekmiş gibi ele almayı bıraktı. Firma aynı etkinin hızlı enjeksiyon veya hafıza zehirlenmesinden de kaynaklanabileceğini söyledi.
Bulmacadan Çalınan Kimlik Bilgilerine
Gösteride, bir temsilciye hileli bulmacayı çözdükten sonra, /code adlı bir sayfa açması ve bir metin kutusunun içeriğini kopyalaması söylendi.
Bu sayfa kurbanın GitHub deposuna yönlendirildi ve aracı SSH kimlik bilgilerini çıkardı. Temsilciler direnmek yerine hırsızlığı başka bir adım olarak ele aldılar ve oyunu bitirmeyi kutladılar.
LayerX, testin zararsız bir düz metin dosyası kullandığını vurguladı. Ancak gerçek bir saldırıda yönlendirmenin, açık sekmeler ve özel depolar da dahil olmak üzere kullanıcının oturum açtığı herhangi bir siteye işaret edebileceği ve veri sızıntısının kapsamını genişletebileceği konusunda uyardı. Altı ajandan hiçbiri kimlik bilgisi hırsızlığını kendi kurallarının ihlali olarak işaretlemedi.
Yapay zeka tarayıcılarına karşı hızlı enjeksiyon hakkında daha fazlasını okuyun: HashJack Dolaylı İstemi Enjeksiyonu Web Sitelerini Silahlandırıyor
Uzmanların Görüşleri
Satıcı yanıtlarının farklılık gösterdiği bildirildi. LayerX, OpenAI'nin sorunu ChatGPT Atlas'ta çözdüğünü söylerken Perplexity, harekete geçmeden raporunu kapattı ve üç küçük tedarikçi Fello, Genspark ve Sigma yanıt vermedi. Anthropic bir düzeltme girişiminde bulundu ancak LayerX yamasının başarısız olduğunu söyledi.
Bilgi güvenliği satıcılara bireysel olarak ulaştı.
Saldırıyı köreltmek için LayerX, AI tarayıcı üreticilerine, bir aracının oturum açmış hesapları okumadan önce kullanıcı onayı istemesini, bir aracıya olağan kuralların artık geçerli olmadığı söylendiğinde işaretleme yapmalarını ve kullanıcıların bir aracının dokunabileceği şeyleri sınırlamasına izin vermelerini istedi.
Teknik Analiz
Firma, bu araçların bağlamlarına güvendiğini, dolayısıyla bağlamın değiştirilmesinin yaptıklarını değiştirdiğini söyledi.
