Cisco'daki araştırmacılar, bir kullanıcının LLM'yi çok yönlü, devam eden bir sohbete sokması için kandırması durumunda, önde gelen birçok büyük dil modelinin (LLM) güvenlik korkuluklarının atlanabileceği konusunda uyardı.
Araştırmacılar, yerleşik güvenlik korkuluklarının gerçek dünyadaki saldırganlardan gelen potansiyel tehditlere karşı nasıl dayandığını test etmek için OpenAI'nin ChatGPT'si, Anthropic'in Claude, Google Gemini, Amazon Nova, xAI'nin Grok'u ve diğerleri dahil olmak üzere yaygın olarak kullanılan LLM'leri ve sınır yapay zeka modellerini inceledi.
Modellerin çoğunun, yapamayacakları eylemleri gerçekleştirmeleri için kandırılabileceğini buldular.
Nasıl Önlem Alınmalı?
Bu, çok turlu konuşmalar dağıtılarak başarıldı: kullanıcı ile LLM arasında birden fazla ileri geri alışverişi kapsayan diyalog.
Yüksek Lisans'lardaki korkuluklar, kullanıcıların kötü niyetli komutlar girmesini engellemek için tasarlanmış olsa da, araştırmacılar, Yüksek Lisans'ları konuşmalara dahil ederek ve yanıtları sorgulayarak korumaların aksadığını buldu.
Önemli Gelişmeler
Cisco, "Çok aşamalı değerlendirmenin bir nedeni var: Saldırganların gerçekte yaşadığı yer burasıdır. Gerçek rakipler tekrar eder. Reddetmeleri yeniden çerçevelendirirler, görevleri sırayla parçalara ayırırlar, kişileri benimserler ve aşama aşama tırmandırırlar" dedi.
Bypass'a Karşı Tamamen Güvenli Korkuluk Yok
Uzmanların Görüşleri
Araştırma, hiçbir modelin, korkulukların çok dönüşlü manipülasyonu yoluyla istismar edilmeye karşı tamamen güvenli olmadığını buldu. Cisco, bu durumun kuruluşların halihazırda yapay zeka güvenliğini ve güvenliğini değerlendirme biçimini zorladığı konusunda uyardı.
Uyarı, birçok kuruluşun AI ve LLM'leri çalışanların, müşterilerin ve müşterilerin kullanımına sunduğu ancak gerçek dünya risklerini yanlış temsil eden güvenlik kriterlerine güvendiği bir zamanda geldi.
Devamını oku: Mythos ve GPT-Cyber Gibi Fronter Yapay Zeka Modelleri Modern Siber Güvenlik İçin Ne Anlama Geliyor?
Gelecekte Ne Bekleniyor?
Rapor, LLM'lerdeki güvenliğin çoğunun tek istemli testlere dayandığı, ancak saldırganların bir denemeden sonra durmadığı ve tüm modellerin çok dönüşlü saldırı başarı oranlarından (ASR) etkilendiği konusunda uyardı.
Araştırmacıların çok turlu konuşmalar yoluyla korkulukları aşmasına olanak tanıyan teknikler arasında, rol oynamada benimsenen kişilikler, bağlam etrafında belirsizlik ve yanlış yönlendirme ve LLM tarafından etkileşime girmenin ilk reddedilmesi üzerine isteklerin yeniden çerçevelenmesi yer alıyordu.
Yüksek Lisans'ların nasıl yapılandırıldığı, manipülasyona karşı ne kadar dirençli oldukları konusunda da bir fark yarattı. Örneğin araştırmacılar, GrokAI'nin "akıl yürütme modu" etkinleştirildiğinde güvenlik korumalarının atlanmasına karşı çok daha savunmasız hale geldiğini buldu.
Sonuç ve Değerlendirme
Yönetim organları ve düzenleyiciler, mevcut kriterlerin tam olarak ele almadığı değerlendirme uygulamaları için çağrıda bulunmaya başlarken Cisco, LLM'lerin rakipler tarafından kolayca istismar edilmesini veya manipüle edilmesini önlemek için çok daha fazlasının yapılması gerektiği konusunda uyardı.
Raporda, "Sınırdaki büyük dil modellerinin hızlı bir şekilde devreye alınması, paralel bir emniyet ve güvenlik kriterleri ekosistemi oluşturdu. Ancak giderek artan sayıda kanıt, bu ekosistemin sistematik olarak riski küçümseyebilecek, güvenliği yetenekle birleştirebilecek ve kritik saldırı yüzeylerini ölçülmeden bırakabilecek yapısal sınırlamalardan muzdarip olduğunu gösteriyor" dedi.
