Yapay zeka ajanları, kullanıcıların görevlerini yerine getirmek için giderek daha fazla kullanılıyor. Ancak, Seul Ulusal Üniversitesi, Illinois Urbana-Champaign Üniversitesi ve Largosoft'tan araştırmacılar, bu ajanları hedef alan yeni bir saldırı türü keşfetti. 'Ajan veri enjeksiyonu' (ADI) adı verilen bu saldırı, AI'nın güvendiği verileri manipüle ederek istenmeyen eylemler yapmasına neden oluyor. Örneğin, bir ürün sayfasındaki yorumları özetlemesi istenen bir AI ajanı, sahte bir yorum sayesinde 'Şimdi Satın Al' düğmesine tıklayabiliyor. Benzer şekilde, bir GitHub yorumu üzerinden kod uygulaması yapan bir asistan, sahte bir yorumla komut çalıştırabiliyor.
Bu saldırı, klasik 'prompt injection'dan farklı olarak, AI'nın görevini değiştirmiyor; sadece güvendiği verileri bozuyor. Araştırmacılar, bu yönteme 'olasılıksal sınırlayıcı enjeksiyonu' adını veriyor. AI ajanları, verileri işlerken tırnak işaretleri, parantezler ve satır sonları gibi sınırlayıcıları kullanarak farklı alanları ayırt ediyor. Ancak bir dil modeli bu sınırlayıcıları tahmin yoluyla okuduğu için, saldırganlar kontrol ettikleri alana benzer karakterler ekleyerek modelin yanlış bir yapı algılamasına neden olabiliyor. Örneğin, kaçışlı bir tırnak işareti (\") veya kıvrımlı bir tırnak, gerçek bir sınırlayıcı olarak algılanabiliyor.
Araştırmacılar, gerçek dünya araçları üzerinde üç farklı saldırı geliştirdi. İlk olarak, web ajanlarında (Claude in Chrome, Google'ın Antigravity'si ve Nanobrowser) sahte bir ürün yorumu, gerçek bir düğmenin kimliğini kullanarak 'Daha Fazla Oku' yerine 'Şimdi Satın Al' düğmesine tıklanmasını sağlıyor. İkinci olarak, kodlama asistanlarında (Claude Code, OpenAI Codex ve Google Gemini CLI) bir GitHub yorumu, proje bakımcısı gibi görünen sahte bir yazar satırı ile kullanıcının onayıyla kötü niyetli bir komut çalıştırıyor. Üçüncü olarak, kötü niyetli bir çekme isteği, hiç çalıştırılmamış bir kontrolün kaydını taklit ederek temiz bir sonuç gösteriyor ve AI'nın kodu güvenli olarak değerlendirip birleştirmesine neden oluyor.
Bu saldırılara karşı mevcut savunmalar yetersiz kalıyor. Araçlar genellikle riskli eylemlerden önce kullanıcı onayı istese de, bu onay ekranları yeterli bilgi vermiyor. Örneğin, Claude in Chrome tıklama öncesinde sadece bir öğeye tıklamak istediğini belirtiyor, hangi öğe olduğunu veya nedenini açıklamıyor. Kodlama asistanları ise akıl yürütmelerini gösterse de, bu akıl yürütme sahte verilere dayandığı için kullanıcı gerçek bir onayla sahte olanı ayırt edemiyor. Test edilen tüm modeller (OpenAI GPT-5.2, GPT-5-mini, Anthropic Claude Opus 4.5, Sonnet 4.5, Google Gemini 3 Pro ve Flash) bu saldırıya karşı savunmasız bulundu. Yapılandırılmış verilerde %31-43, web sayfası verilerinde ise %33-100 başarı oranı elde edildi.
Teknik Analiz
İlginç bir şekilde, amaçlı olarak geliştirilmiş ajan savunmaları klasik prompt injection'ı neredeyse tamamen engellese de (başarı oranı sıfıra yakın), ADI saldırıları %50'ye varan oranlarda başarılı oldu. Aynı savunmalar, farklı sonuçlar verdi çünkü bu savunmalar diğer saldırı türü için tasarlanmıştı. Araştırmacılar, ADI'ya karşı etkili olan bazı yöntemler de buldu. ChatGPT'nin Atlas tarayıcısı, her sayfa öğesine rastgele ve tahmin edilemez bir kimlik atadığı için tıklama saldırısını engelledi. Aynı fikir, alan adlarına kısa rastgele etiketler ekleyerek başarı oranını %49'dan %29'a düşürdü.
Önemli Gelişmeler
Daha ağır bir savunma olan ve her veri parçasının kaynağını izleyen yöntem, saldırıları tamamen engelledi ancak ajanların normal görevlerini tamamlama oranını üçte bire düşürdü. Sınırlayıcı karakterleri tamamen kaldırmak da benzer bir düşüşe neden oldu. Bu nedenle, araştırmacılar rastgele etiketleme gibi daha hafif savunmaların pratik olduğunu belirtiyor. Kullanıcılar için en önemli çıkarım, AI ajanlarına tamamen güvenmemek ve özellikle finansal işlemler veya kod çalıştırma gibi kritik eylemlerde ek doğrulama adımları eklemektir.
Kaynak: thehackernews.com
