Cisco araştırmacıları, büyük dil modellerinin (LLM) güvenlik önlemlerinin, kullanıcıların çok aşamalı ve sürekli diyaloglar kurmasıyla aşılabildiğini ortaya koydu. OpenAI'ın ChatGPT'si, Anthropic'in Claude'u, Google Gemini, Amazon Nova ve xAI'nin Grok'u gibi önde gelen modeller üzerinde yapılan testler, bu modellerin gerçek dünya saldırılarına karşı savunmasız olduğunu gösterdi. Araştırma, özellikle çok turlu diyalogların (multi-turn conversations) bu güvenlik açıklarını tetiklediğini vurguluyor.
Çok turlu diyaloglar, kullanıcı ve model arasında birden fazla gidiş-gelişi kapsayan konuşmalardır. LLM'lerin güvenlik önlemleri genellikle tek bir komutla kötü niyetli girdileri engellemek üzere tasarlanmıştır. Ancak araştırmacılar, modeli bir diyaloga dahil ederek ve yanıtları sorgulayarak bu korumaların zayıfladığını keşfetti. Cisco, 'Çok turlu değerlendirme önemlidir çünkü saldırganlar gerçekte burada yaşar. Gerçek düşmanlar yineler, reddetmeleri yeniden çerçeveler, görevleri turlara böler, kimliklere bürünür ve kademeli olarak tırmanır' dedi.
Araştırma, hiçbir modelin bu tür manipülasyonlardan tamamen korunamadığını ortaya koydu. Bu durum, kurumların yapay zeka güvenliğini değerlendirme biçimlerini sorgulatıyor. Birçok kuruluş, çalışanlar ve müşteriler için yapay zeka ve LLM'leri kullanıma sunarken, gerçek dünya riskini yansıtmayan güvenlik kıyaslamalarına güveniyor. Rapor, LLM güvenlik değerlendirmelerinin çoğunun tek komut testlerine dayandığını, ancak saldırganların tek bir denemeyle durmadığını ve tüm modellerin çok turlu saldırı başarı oranlarından (ASR) etkilendiğini belirtiyor.
Detaylar ve Etkileri
Araştırmacılar, güvenlik önlemlerini aşmak için çeşitli teknikler kullandı. Bunlar arasında rol yapma (persona benimseme), bağlam belirsizliği ve yanıltma, modelin ilk reddetmelerine rağmen talepleri yeniden çerçeveleme yer alıyor. LLM'lerin yapılandırma şekli de manipülasyona karşı dayanıklılıklarını etkiledi. Örneğin, GrokAI'da 'akıl yürütme modu' etkinleştirildiğinde güvenlik açıkları daha da arttı. Bu bulgular, modellerin sadece statik testlerle değil, dinamik ve çok aşamalı senaryolarla da değerlendirilmesi gerektiğini gösteriyor.
Cisco raporu, yapay zeka güvenliği için mevcut kıyaslamaların yetersiz kaldığını vurguluyor. Özellikle düzenleyici kurumlar, mevcut testlerin tam olarak ele almadığı değerlendirme uygulamaları çağrısında bulunuyor. Cisco, 'Öncü büyük dil modellerinin hızlı bir şekilde dağıtılması, paralel bir güvenlik ve emniyet kıyaslama ekosistemi oluşturdu. Ancak artan kanıtlar, bu ekosistemin riski sistematik olarak küçümseyen, güvenliği yetenekle karıştıran ve kritik saldırı yüzeylerini ölçülmeyen yapısal sınırlamalardan muzdarip olduğunu gösteriyor' dedi.
Bu araştırma, işletmelerin yapay zeka güvenlik stratejilerini yeniden gözden geçirmeleri gerektiğini ortaya koyuyor. Tek komut testleri yerine, çok turlu senaryoları da içeren kapsamlı güvenlik değerlendirmeleri yapılmalı. Ayrıca, kullanıcı eğitimi ve farkındalık programları, manipülasyon riskini azaltmada önemli rol oynayabilir. Yapay zeka modellerinin güvenlik önlemleri sürekli güncellenmeli ve saldırganların kullandığı tekniklere karşı dirençli hale getirilmelidir.
Kaynak: infosecurity-magazine.com
