Cisco araştırmacıları, büyük dil modellerinin (LLM) güvenlik duvarlarının, kullanıcıların çok adımlı ve devam eden diyaloglar kurarak atlatılabileceği konusunda uyardı. Araştırma kapsamında OpenAI'ın ChatGPT'si, Anthropic'in Claude'u, Google Gemini, Amazon Nova, xAI'nin Grok'u gibi yaygın olarak kullanılan LLM'ler ve öncü AI modelleri incelendi. Bu modellerin, gerçek dünya saldırganlarına karşı ne kadar dayanıklı olduğu test edildi. Sonuçlar, birçok modelin yapmaması gereken eylemlere yönlendirilebildiğini gösterdi.
Saldırı yöntemi, çok adımlı sohbetler (multi-turn conversations) olarak adlandırılan, kullanıcı ile LLM arasında birden fazla ileri-geri alışverişi içeren diyaloglar kullanılarak gerçekleştirildi. LLM'lerdeki güvenlik önlemleri, kullanıcıların kötü niyetli komutlar girmesini engellemek için tasarlanmış olsa da araştırmacılar, modelleri sohbetlere dahil ederek ve yanıtları sorgulayarak korumaların zayıfladığını buldu. Cisco, "Çok adımlı değerlendirme önemlidir çünkü saldırganların gerçekte olduğu yer burasıdır. Gerçek rakipler yinelemeli hareket eder, reddetmeleri yeniden çerçeveler, görevleri adımlara böler, kişilikler benimser ve kademeli olarak tırmanır" dedi.
Araştırma, hiçbir modelin çok adımlı manipülasyon yoluyla güvenlik önlemlerinin aşılmasından tamamen güvende olmadığını ortaya koydu. Cisco, bunun işletmelerin AI güvenliğini ve emniyetini değerlendirme şekline meydan okuduğu konusunda uyardı. Uyarı, birçok kuruluşun çalışanlar, müşteriler ve kullanıcılar için AI ve LLM'leri kullanıma sunarken, gerçek dünya riskini yanlış temsil eden güvenlik kriterlerine güvendiği bir dönemde geldi. Raporda, LLM'lerin etrafındaki güvenliğin çoğunun tek istemli testlere dayandığı, ancak saldırganların bir denemeden sonra durmadığı ve tüm modellerin çok adımlı saldırı başarı oranlarından (ASR) etkilendiği belirtildi.
Detaylar ve Etkileri
Çok adımlı sohbetler yoluyla güvenlik önlemlerini aşmayı sağlayan teknikler arasında rol yapma kişilikleri benimseme, bağlam etrafında belirsizlik ve yanlış yönlendirme ile LLM'nin ilk reddetmeleri üzerine istekleri yeniden çerçeveleme yer aldı. LLM'lerin nasıl yapılandırıldığı da manipülasyona karşı dirençlerinde fark yarattı. Örneğin, araştırmacılar GrokAI'nin 'akıl yürütme modu' etkinleştirildiğinde güvenlik korumalarının aşılmasına karşı çok daha savunmasız hale geldiğini buldu. Yönetim organları ve düzenleyiciler, mevcut kriterlerin tam olarak ele almadığı değerlendirme uygulamaları çağrısında bulunmaya başlarken Cisco, LLM'lerin rakipler tarafından kolayca istismar edilmesini veya manipüle edilmesini önlemek için çok daha fazlasının yapılması gerektiği konusunda uyardı.
