"BioShocking" olarak adlandırılan yeni bir hızlı enjeksiyon saldırısı, yapay zeka destekli tarayıcıları gerçek dünyadaki riskli eylemleri kurgusal bir senaryonun parçası olarak ele almaları için kandırabilir ve bu da onların herhangi bir güvenlik bariyerini göz ardı etmelerine neden olabilir.
LayerX'teki araştırmacılar tarafından tasarlanan saldırı için bir kavram kanıtı (PoC), altı ana akım aracı tarayıcı ürününe (ChatGPT Atlas, Comet, Fellou, Genspark Tarayıcı, Sigma Tarayıcı ve Claude Chrome eklentisi) karşı başarıyla test edildi ve yalnızca bir tanesi raporu aldıktan sonra bu sorunu ele aldı.
BioShocking nasıl çalışır?
LayerX, kötü niyetli bir web sayfasının yanlış yanıtları ödüllendiren BioShock temalı bir bulmaca oyunu sunduğu bir kavram kanıtı oluşturdu. Bu, tarayıcının kontrol aracısına normal kuralların geçerli olmadığını öğretir.
Oyunu kazanmanın son adımında, temsilciye GitHub deposunu ziyaret etmesi ve şifreler gibi hassas bilgiler de dahil olmak üzere kodda bulunan verileri kopyalayıp paylaşması talimatı veriliyor.
LayerX'in bu alıştırmada keşfettiği ana sorun, yapay zeka aracılarının gerçek dünyadaki hassas operasyonlar ile belirli bir senaryo arasında ayrım yapamamasıdır.
Yapay zeka temsilcisinin muhakemesine genel bakış
Kaynak: LayerX
LayerX, "Ajanlar kuralları anladıktan ve 'yanlış' eylemlerin kabul edilebilir olduğunu öğrendikten sonra artık gerçekliğe bağlı değiller" diye açıklıyor.
"Bulmacanın son adımı olan kullanıcı kimlik bilgilerinin tehlikeye atılmasıyla görevlendirildiklerinde, 6 temsilcinin tümü bunun kendi güvenlik korkuluklarına aykırı olduğunu tespit edemedi."
LayerX'in PoC'si aslında herhangi bir kötü niyetli eylem gerçekleştirmedi ancak araştırmacılar, bunu uygulamanın sonucunu değiştirmeden yapabileceğinin altını çiziyor.
Yapay zeka tedarikçilerinin yanıtı
LayerX, geçen yılın Ekim ayında satıcılara bulgularını bildirdi ve üçünden yanıt alamadı.
Araştırmacılar, OpenAI'nin ChatGPT Atlas tarayıcısında BioShocking için çalışan bir düzeltme uygulayan tek satıcı olduğunu söylüyor.
LayerX, Anthropic'in sorunu Chrome eklentisinde düzeltmeye çalıştığını ancak yamanın PoC'ye karşı etkisiz olduğunu söylüyor.
Araştırmacılar raporda Perplexity AI'nin sorunu çözmeden raporu kapattığını belirtiyor.
LayerX, satıcıların hassas eylemler için açık kullanıcı onayı, daha güçlü bağlam kontrolleri ve aracılı oturumlar için kapsam sınırları eklemelerini önerir.
Kullanıcılar, AI tarayıcısının hassas hizmetlere erişimini kısıtlamak için kendi platformlarındaki mevcut seçenekleri kullanmalıdır.
