Yapay zeka güvenliği alanında prompt injection saldırıları hızla en büyük tehdit haline gelmiş durumda. Büyük dil modelleri (LLM), kullanıcıdan gelen meşru komutlarla e-posta, kaynak kodu veya diğer üçüncü taraf içeriklerine gizlenmiş kötü niyetli komutları ayırt edemiyor. Bu durum, saldırganların LLM'lerin hiç sorgulamadan uyguladığı gizli komutları yerleştirmesini kolaylaştırıyor. Güvenilir ve güvenilmez kaynaklar arasındaki bu kritik sınırı zorlayacak bir mekanizma olmadığından, yapay zeka motoru geliştiricileri sorunu kökten çözmek yerine hasarı azaltmaya yönelik karmaşık önlemler inşa etmek zorunda kalıyor.
Bugüne kadar gerçekleştirilen prompt injection saldırılarının çoğu 'push' (itme) olarak adlandırılan bir sınıfa giriyordu. Bu yöntemde saldırgan, her bir kurbana özel olarak hazırlanmış zararlı komutları e-posta veya takvim davetiyesi gibi kanallarla gönderiyor. Her hedefe ayrı ayrı mesaj göndermek zorunda olduğu için saldırının ölçeği sınırlı kalıyor ve kitlesel istismarlar mümkün olmuyor. Diğer yandan 'pull' (çekme) tabanlı saldırılarda LLM, saldırganın web sitelerine yerleştirdiği zararlı komutları aktif olarak arıyor; ancak büyük sayıda LLM'yi kötü niyetli bir siteye çekmenin bir yolu olmadığından bu saldırılar da ölçeklenemiyor.
İşte tam bu noktada araştırmacılar, HalluSquatting adını verdikleri yeni bir pull tabanlı saldırı geliştirdi. Adversarial hallucination squatting (düşmanca halüsinasyon yerleştirme) teriminin kısaltması olan bu saldırı, LLM'lerin depo ve kayıtlardaki kaynak tanımlayıcılarını halüsinasyon görme eğiliminden yararlanıyor. Saldırı, Cursor, Cursor CLI, Gemini CLI, Windsurf, GitHub Copilot, Cline, OpenClaw, ZeroClaw ve NanoClaw gibi popüler yapay zeka kod asistanlarını ve ajanlarını hedef alıyor. Bu araçlar günlük işlemler sırasında rutin olarak depolar ve kayıtlardan kod ve diğer kaynakları çekiyor.
HalluSquatting'in temel prensibi, LLM'lerin en sık halüsinasyon gördüğü kaynak tanımlayıcılarını tahmin etmek ve bu tanımlayıcıları kötü niyetli yazılımlarla (örneğin ters kabuk veya DDoS botları) doldurarak kaydetmek. Kod asistanı, halüsinasyon sonucu bu tanımlayıcıyı kullanarak kaynağı çektiğinde, aslında saldırganın kontrolündeki bir sunucuya bağlanıyor ve zararlı yükü indiriyor. Bu yöntem, her bir cihazı hedeflemeden kitlesel enfeksiyon sağlıyor ve botnet oluşturma, DDoS saldırıları düzenleme gibi büyük ölçekli eylemleri mümkün kılıyor.
Saldırının etkisi, kod asistanlarının genellikle yüksek ayrıcalıklı komut satırlarına erişmesinden kaynaklanıyor. Asistan, zararlı kodu çalıştırmak için komut satırını kullanıyor ve bu da saldırgana sistem üzerinde geniş yetkiler veriyor. Araştırmacılar, HalluSquatting'in prompt injection saldırılarında ilk kez bu kadar büyük ölçekli botnet oluşturma potansiyeli sunduğunu belirtiyor. Önceki saldırılar ya tekil hedeflere yönelikti ya da ölçeklenemiyordu; HalluSquatting ise bu sınırlamaları aşıyor.
Bu yeni saldırı vektörü, yapay zeka güvenliğinde köklü çözümlerin gerekliliğini bir kez daha ortaya koyuyor. Geliştiriciler, kod asistanlarının ve ajanlarının yalnızca güvenilir kaynaklardan veri çekmesini sağlamak için daha sıkı denetim mekanizmaları ve doğrulama adımları eklemeli. Ayrıca, LLM'lerin halüsinasyon eğilimini azaltmaya yönelik eğitim yöntemleri geliştirilmesi de kritik öneme sahip. Kullanıcılar ise kod asistanlarının önerilerini körü körüne kabul etmek yerine, kaynakları manuel olarak doğrulamalı ve güvenilmeyen depoları kullanmaktan kaçınmalı.
HalluSquatting, yapay zeka araçlarının güvenlik açıklarının ne kadar yaratıcı şekilde istismar edilebileceğini gösteriyor. Saldırganlar, LLM'lerin temel bir zafiyetini (halüsinasyon) kullanarak kitlesel ölçekte saldırılar düzenleyebiliyor. Bu durum, yapay zeka güvenliği alanında çalışanlar için acil bir uyarı niteliği taşıyor. Gelecekte benzer saldırıların önüne geçmek için hem teknik altyapı hem de kullanıcı farkındalığı artırılmalı. Unutulmamalı ki, yapay zeka ne kadar akıllı olursa olsun, onu kullanan insanların dikkatli olması siber güvenliğin temel taşlarından biri olmaya devam ediyor.
Kaynak: arstechnica.com
