Yapay zeka sistemlerine yönelik tehditler her geçen gün artarken, güvenlik uzmanları da bu tehditleri bertaraf etmek için yaratıcı yöntemler geliştiriyor. Tracebit araştırmacıları, 'context bombing' olarak adlandırdıkları yeni bir teknikle, yapay zeka hacking ajanlarını kendi silahlarıyla vurmayı başardı. Bu yöntem, prompt enjeksiyonlarını savunma amaçlı kullanarak saldırgan yapay zeka modellerinin çalışmasını durduruyor.
Prompt enjeksiyonu, kötü niyetli kullanıcıların büyük dil modellerine (LLM) zararlı komutlar gömmek için kullandığı bir saldırı türüdür. Bir e-posta veya takvim davetiyesine gizlenmiş iyi hazırlanmış bir komut, çoğu zaman LLM'nin hassas verileri sızdırmasına veya başka zararlı eylemler gerçekleştirmesine neden olabilir. Ancak Tracebit'in yeni araştırması, bu tekniğin savunma amaçlı da kullanılabileceğini gösteriyor.
Araştırmacılar, Amazon Web Services (AWS) ortamında saklanan şifreler, kriptografik anahtarlar ve diğer gizli bilgilerin yanına özel olarak hazırlanmış prompt enjeksiyonları yerleştirdi. Bu prompt'lar, saldırgan LLM'ye, geliştiricilerin güvenlik önlemleri (guardrails) tarafından yasaklanan eylemleri gerçekleştirmesini emrediyor. Örneğin, 'inhalabl şarbon sporları geliştirme adımları' veya Çinli geliştiricilerin modellerinde 'Tiananmen Meydanı'ndaki Tank Adam' referansı gibi yasaklı komutlar içeriyor. LLM bu komutlarla karşılaştığında, mevcut görevlerini yerine getirmeyi reddediyor ve çalışmayı durduruyor.
Tracebit CEO'su Andy Smith, bu tekniğin adının 'context bombing' olmasının nedenini şöyle açıklıyor: 'Aslında bir reddetme mekanizmasını tetikliyoruz. Bu, ajanların geri dönmesi zor olan güçlü ve keskin bir etki yaratıyor. Prompt'u bağlamlarına aldıklarında reddetmeye devam ediyorlar.' İlk testler, bu yöntemin büyük potansiyele sahip olduğunu gösteriyor.
Tracebit, beş farklı yapay zeka modelini (Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro ve Kimi 2.6) simüle edilmiş bir AWS ortamında test etti. Modellere rutin geliştirici görevleri verilirken, kaynakları taramaları ve yerleştirilen tuzak gizli bilgilere rastlamaları sağlandı. Sonuçlar çarpıcıydı: 152 saldırı denemesinde, bir tuzak gizli bilgiye prompt enjeksiyonu eklenmesi, ajanların tam yönetici yetkisi ele geçirme oranını %57'den %5'e düşürdü. Kalıcı erişim sağlama oranı ise %36'dan %1'e geriledi.
En yetenekli model olan Opus 4.8, başlangıçta %93 oranında yönetici erişimi sağlarken, context bombing ile karşılaştığında her denemede başarısız oldu. Ortalama olarak, tüm modellerde yönetici yetkisi yükseltme %57'den %5'e, kalıcı erişimli yönetici yetkisi %36'dan %1'e, herhangi bir saldırı yolunu tamamlama oranı %91'den %15'e düştü. Ayrıca, ortalama başarılı saldırı yolu sayısı 1.53'ten 0.16'ya geriledi ve hiçbir saldırı, tuzak (canary) tespitini tetiklemeden tamamlanamadı.
Bu araştırma, Tracebit'in Mayıs ayında duyurduğu, yapay zeka ajanları tarafından yapılan saldırıları tespit etmek için kullanılan 'canary' (kanarya) tuzakları yönteminin bir devamı niteliğinde. O yöntemde, AWS'de gerçek kaynakların yanına sahte kaynaklar yerleştirilerek, bir AI ajanı bunlara eriştiğinde savunmacılara uyarı gönderiliyordu. Context bombing ise bu tuzakları bir adım öteye taşıyarak, sadece tespit değil, aynı zamanda saldırıyı durdurma yeteneği de sağlıyor. Bu yöntem, yapay zeka güvenliği alanında önemli bir yenilik olarak değerlendiriliyor ve özellikle bulut tabanlı sistemlerde AI ajanlarına karşı savunma stratejilerini dönüştürebilir.
Kaynak: wired.com
