Cisco araştırmacıları, OpenAI'ın ChatGPT'si, Anthropic'in Claude'u, Google Gemini, Amazon Nova ve xAI'nin Grok'u gibi yaygın olarak kullanılan büyük dil modellerini (LLM) test etti. Araştırma, bu modellerin yerleşik güvenlik önlemlerinin, kullanıcıların çok adımlı konuşmalar yoluyla sistemi kandırması durumunda nasıl aşılabildiğini ortaya koydu. Çalışma, gerçek dünya saldırganlarının kullandığı stratejilerin simüle edilmesiyle gerçekleştirildi.
Araştırmacılar, modellerin çoğunun yapmaması gereken eylemleri yapmaya ikna edilebildiğini buldu. Bu, kullanıcı ve model arasında birden fazla gidiş-dönüş alışverişini kapsayan çok turlu konuşmalar kullanılarak başarıldı. Cisco, 'Çok turlu değerlendirme önemlidir çünkü saldırganların gerçekte yaşadığı yer burasıdır. Gerçek düşmanlar yineler, reddetmeleri yeniden çerçeveler, görevleri turlara böler, kişiliklere bürünür ve kademeli olarak tırmanır.' dedi.
Araştırma, hiçbir modelin çok turlu manipülasyon temelli güvenlik önlemlerinin aşılmasından tamamen güvende olmadığını ortaya koydu. Cisco, bunun işletmelerin yapay zeka güvenliğini değerlendirme şekline meydan okuduğu konusunda uyardı. Uyarı, birçok kuruluşun çalışanlar, müşteriler için yapay zeka ve LLM'leri kullanıma sunarken, gerçek dünya riskini yanlış temsil eden güvenlik kriterlerine güvendiği bir zamanda geldi.
Önemli Gelişmeler
Raporda, LLM'lerin etrafındaki çoğu güvenliğin tek sorgulu testlere dayandığı, ancak saldırganların bir denemeden sonra durmadığı ve tüm modellerin çok turlu saldırı başarı oranlarından etkilendiği belirtildi. Araştırmacıların güvenlik önlemlerini aşmak için kullandığı teknikler arasında rol yapma, belirsizlik ve yanlış yönlendirme ile ilk reddetmelerde talepleri yeniden çerçeveleme yer aldı. Cisco, 'Öncü büyük dil modellerinin hızlı dağıtımı, paralel bir güvenlik ve emniyet kriterleri ekosistemi oluşturdu. Ancak artan kanıtlar, bu ekosistemin riski sistematik olarak küçümseyen, güvenliği yetenekle karıştıran ve kritik saldırı yüzeylerini ölçülmemiş bırakan yapısal sınırlamalardan muzdarip olduğunu gösteriyor.' denildi.
