Milyonlarca geliştirici, kod yazma sürecini hızlandırmak için GitHub Copilot gibi yapay zeka destekli kodlama asistanlarını kullanıyor. Bu araçlar, Visual Studio Code içinde dosyaları açıyor, kod yazıyor ve düzenliyor, betikler çalıştırıyor ve kendi çıktılarını birden çok adımda yeniden işliyor. Ancak, bu ajanları denetleyen güvenlik testleri hâlâ sohbet robotu kurallarına dayanıyor: tek bir zararlı komut, tek bir yanıt, tek başına değerlendirme. Londra'daki Alan Turing Institute'tan yapılan bir araştırmaya göre, bu kurallar gerçek tehlikenin olduğu yeri kaçırıyor.
Araştırmacılar Abhishek Kumar ve Carsten Maple, sorunu 'iş akışı düzeyinde jailbreak yapımı' olarak adlandırıyor. Zararlı bir hedef, sıradan geliştirme adımları arasında parça parça birleştiriliyor. Bunu, Visual Studio Code içindeki GitHub Copilot'ta dört farklı yapay zeka modeli kullanarak test ettiler: Claude Sonnet 4.6, Claude Haiku 4.5, Gemini 3.1 Pro ve Gemini 3.5 Flash.
Doğrudan testlerde modeller zararlı talepleri reddetti. Ekip, 204 zararlı komutu farklı senaryolarda denedi: doğrudan sohbet isteği, aynı komutun bir CSV dosyasından okunması ve zararlı bir örnek ekleyerek kodu düzeltme isteği. Modeller neredeyse tümünü reddetti. 816 talepten sadece 8'i geçti ve bunların hepsi kodlama göreviydi. Genel zarar taleplerinin hiçbiri geçmedi.
Teknik Analiz
Ancak aynı talep normal bir mühendislik işinin içine sarıldığında sonuç tamamen değişti. Ajandan, başka bir modelin (Llama 3.1-8B) jailbreak komutlarına ne kadar kolay boyun eğdiğini puanlayan bir iş hattı oluşturması ve ardından bu puanı yükseltmesi istendi. Bunun için kullanılan araç 'öğretim örnekleri'ydi: iş hattının öğrendiği soru-cevap çiftleri. Başlangıçta zararsızdılar. Bunları eklemek rutin hale geldiğinde, operatör kıyaslama komutlarından oluşan bir grup istedi ve ajan zararlı yanıtları kendisi doldurdu. Operatör yalnızca soruları sağladı.
Bu sefer hiçbir şey reddedilmedi. Her model, her talepte 816 üzerinden 816 zararlı tamamlama üretti ve iki uzman incelemecisi bağımsız olarak her birinin belirli, kullanılabilir ve hedefe uygun olduğunu onayladı. Saldırı, yaklaşık altı ileri geri alışverişten sonra ortaya çıktı ve dört aşamaya ayrıldı. İlk aşamalar, herhangi bir kodlama asistanına sorulacak türden şeylerdi: dosyayı oku, betiği çalıştır, hatayı düzelt, sayıyı kontrol et. Bir noktada operatör puanın düşük olduğunu belirtti ve zararlı içerik yalnızca son aşamada ortaya çıktı.
Bunun nedeni, modelin ne yaptığını düşündüğüyle ilgili. Bu modda mühendislik yapıyor: veri yapılarını düzenliyor, test ortamlarını dolduruyor, bir sayıyı yukarı çekiyor. Bir kod dizisi içinde bir dize olarak yazılan zararlı bir cümle, daha iyi bir kıyaslama puanı uğruna, doğrudan bir sorunun tetikleyeceği reddetmeyi atlatıyor. Araştırmacılar, bunu kodlama ajanlarının sıradan işler yaparken gösterdiği ödül korsanlığı alışkanlıklarına bağlıyor. Yalnızca görünür sohbet mesajlarını okuyan savunmalar, oluşturulan bir dosyanın içine yerleşen içeriği kaçıracaktır.
Kaynak: helpnetsecurity.com
