Cisco araştırmacıları, popüler büyük dil modellerinin (LLM) çoklu adım manipülasyonu yoluyla güvenlik önlemlerinin aşılabildiğini ortaya koydu. OpenAI'ın ChatGPT'si, Anthropic'in Claude'u, Google'ın Gemini'si, Amazon Nova ve xAI'nin Grok'u gibi önde gelen modeller üzerinde yapılan testler, hiçbir modelin bu tür saldırılara karşı tamamen güvenli olmadığını gösterdi. Araştırma, gerçek dünya saldırganlarının kullandığı yöntemleri simüle ederek, mevcut güvenlik değerlendirmelerinin yetersiz kaldığını vurguluyor.
Çoklu adım manipülasyonu, kullanıcı ile LLM arasında birden fazla mesaj alışverişini içeren diyaloglarla gerçekleştiriliyor. Araştırmacılar, bu yöntemle modellerin zararlı komutları yerine getirmeye ikna edilebildiğini belirtiyor. Örneğin, bir kullanıcı ilk mesajda masum bir istekte bulunup, sonraki adımlarda bu isteği kademeli olarak zararlı hale getirebiliyor. Bu, geleneksel tek sorgulu güvenlik testlerinin atladığı bir saldırı vektörü oluşturuyor.
Cisco raporuna göre, saldırganlar çoklu adım manipülasyonunda çeşitli teknikler kullanıyor. Bunlar arasında rol yapma (persona benimseme), belirsizlik ve yanıltma (bağlamı değiştirme), ilk reddetmelerde talebi yeniden çerçeveleme ve görevleri adımlara bölme yer alıyor. Bu teknikler, modelin güvenlik önlemlerini aşmasına ve normalde engellenmesi gereken eylemleri gerçekleştirmesine olanak tanıyor.
Araştırmada modellerin yapılandırmasının da güvenlik açığı üzerinde etkili olduğu görüldü. Özellikle xAI'nin Grok modelinde 'akıl yürütme modu' (reasoning mode) etkinleştirildiğinde, güvenlik önlemlerinin aşılma olasılığı önemli ölçüde arttı. Bu, modelin daha derinlemesine düşünmesine izin veren özelliklerin, aslında saldırganlara daha fazla manipülasyon alanı sağlayabileceğini gösteriyor.
Cisco, bu bulguların kurumsal yapay zeka güvenliği için ciddi sonuçlar doğurduğunu belirtiyor. Birçok kuruluş, çalışanları ve müşterileri için LLM'leri devreye alırken, tek sorgulu güvenlik testlerine dayanıyor. Oysa gerçek dünya saldırganları bir kerede durmuyor; sürekli olarak farklı yaklaşımlar deniyor. Raporda, mevcut güvenlik ölçütlerinin yapısal sınırlamaları olduğu ve riski sistematik olarak düşük gösterdiği vurgulanıyor.
Yapay zeka güvenliği alanında yeni düzenlemeler çağrısı yapan Cisco, çoklu adım manipülasyonuna karşı daha kapsamlı değerlendirme yöntemlerinin geliştirilmesi gerektiğini savunuyor. Araştırmacılar, kuruluşların yalnızca model sağlayıcılarının güvenlik testlerine güvenmemesi, kendi saldırı simülasyonlarını yapması ve sürekli izleme sistemleri kurması gerektiğini belirtiyor. Ayrıca, kullanıcı eğitimi ve farkındalık programlarının da bu tür manipülasyonları önlemede kritik rol oynayacağı ifade ediliyor.
Kaynak: infosecurity-magazine.com
