Yapay zeka destekli güvenlik araçları, siber savunmada devrim yaratma potansiyeline sahip olsa da, yeni bir araştırma bu araçların aynı zamanda ciddi bir güvenlik riski oluşturabileceğini ortaya koydu. AI Now Institute tarafından yayınlanan raporda, Anthropic ve OpenAI'nin popüler komut satırı arayüzleri Claude Code ve Codex'te, saldırganların uzaktan kod çalıştırmasına olanak tanıyan bir güvenlik açığı tespit edildi. Bu açık, yapay zeka araçlarının otomatik modda üçüncü taraf kodları incelerken tetiklenebiliyor.
Araştırmacılar Heidy Khlaaf ve Boyan Milanov, Claude Code ve Codex'in 'otomatik mod' veya 'otomatik inceleme' modunda çalışırken, kötü niyetli talimatları içeren bir açık kaynak kod deposunu analiz etmeye başlamasıyla saldırının gerçekleştiğini belirtiyor. Saldırgan, kod yorumlarına veya dokümantasyona gizlediği zararlı talimatlarla yapay zeka modelini yanıltarak, normalde güvenli kabul edilen bir betiğin çalıştırılmasını sağlıyor. Bu betik, aslında saldırganın sistemde keyfi kod çalıştırmasına izin veriyor.
Saldırının temel mekanizması, çok aşamalı bir prompt injection (istem enjeksiyonu) tekniğine dayanıyor. Yapay zeka ajanı, bir projeyi tararken pasif bir şekilde kod okumaz; aksine, kaynak dosyaları, betikleri ve dokümantasyonu ayrıştırarak projenin anlamsal bir modelini oluşturur. Saldırgan, bu süreçten yararlanarak, README.md gibi güvenilir görünen dosyalara doğal dil talimatları yerleştirir. Bu talimatlar, model tarafından güvensiz girdi olarak değil, görev bağlamının bir parçası olarak yorumlanır.
Önemli Gelişmeler
Enjekte edilen talimatlar, ajanın planlama sürecini manipüle etmek için özenle hazırlanır. Örneğin, 'security.sh' adlı bir betiğin projenin güvenlik iş akışının standart bir parçası olduğu ve kullanıcının talebini ('güvenlik kontrollerini çalıştır') tamamlamak için gerekli olduğu ima edilir. Bu betik, aslında arka planda ikinci aşama bir yükü çalıştırır: masum görünen bir ikili dosya (code_policies) ve onu meşru gösteren bir kaynak kodu dosyası (code_policies.go). Yapay zeka ajanı, betiği güvenli olarak sınıflandırdığında, otomatik modda insan onayı olmadan çalıştırır ve saldırganın kodunu hedef sistemde icra eder.
Teknik Analiz
Bu saldırı, özellikle otomatik modda çalışan yapay zeka araçlarının güvenlik değerlendirmelerindeki zafiyetleri gözler önüne seriyor. Claude Code ve Codex, varsayılan olarak düşük riskli kabul edilen eylemleri insan onayı olmadan gerçekleştirebiliyor. Araştırmacılar, bu tür araçların kullanıcılarına, özellikle üçüncü taraf kodları incelerken dikkatli olmalarını ve otomatik mod yerine manuel onay gerektiren modları tercih etmelerini öneriyor. Ayrıca, yapay zeka modellerinin prompt injection saldırılarına karşı daha dirençli hale getirilmesi gerektiği vurgulanıyor.
Sonuç ve Değerlendirme
Bu keşif, yapay zeka destekli güvenlik araçlarının hem savunma hem de saldırı amacıyla kullanılabileceğini gösteriyor. Kuruluşlar, bu araçları benimserken yalnızca sağladıkları faydaları değil, aynı zamanda yeni saldırı yüzeyleri oluşturma potansiyellerini de dikkate almalı. Güvenlik ekipleri, yapay zeka araçlarının çalışma prensiplerini anlamalı ve otomatik karar alma mekanizmalarını sıkı bir şekilde denetlemelidir. Aksi takdirde, siber savunmayı güçlendirmek için kullanılan araçlar, beklenmedik bir zafiyet kaynağına dönüşebilir.
Kaynak: infosecurity-magazine.com
