Yapay zeka asistanları, zararlı içerik üretimini engellemek için çeşitli güvenlik önlemleriyle donatılmış olsa da, İngiliz siber güvenlik firması Mindgard, ChatGPT'nin bu önlemlerini aşmanın bir yolunu buldu. Şirket, zararsız bir viral komutun hafifçe değiştirilmiş bir versiyonunu kullanarak ChatGPT'den şiddet ve cinsel içerikli grafik görseller üretmesini sağladı. Yöntem, yapay zekaya rastgele bir görseli 'onarmasını' isteyerek, orijinal görselin son derece grafik olduğuna (aslında olmasa bile) ikna etmeye dayanıyordu. Sonuçlar, ölü kadınların şiddet içeren görselleri de dahil olmak üzere dehşet vericiydi.
Mindgard araştırmacısı Jim Nightingale, tekniği çevrimiçi olarak anlattığı bir yazıda, görsellerin kendisini ağlattığını söyledi. "ChatGPT'nin görsel üretim içerik filtreleri tamamen çöktü ve altında yatan karanlık tarafı gördüm; gizli alanların ve eğitim görsellerinin bazı köşelerinin karanlığı," dedi. "ChatGPT'nin bana gösterdiği ölü kadın gerçek değil, ama birine dayanıyor. Ya da daha kötüsü, öldürülmüş kadınların görsellerinin bir derlemesi."
OpenAI konuya ilişkin yanıtında, zararlı görsel üretim taleplerini engellemek için metin sınıflandırıcıları ve üretilen çıktıyı değerlendiren bir akıl yürütme modeli gibi birden fazla güvenlik önlemi kullandığını belirtti. Ancak bu önlemlerin hiçbiri Mindgard'ın değiştirilmiş viral komutunu durduramadı. Bu olay, yapay zeka güvenlik önlemlerinin ne kadar kırılgan olabileceğini bir kez daha gözler önüne seriyor. Mindgard daha önce de Şubat ayında ChatGPT'yi 'zevkli çıplaklar' üretmeye ikna eden ayrı bir teknik paylaşmıştı.
Sorun yalnızca OpenAI ile sınırlı değil. xAI'nin Grok'u, 55 ilgili komuttan 45'ine cinsel içerikli görseller üreterek bu alanda en kötü örneklerden biri oldu. Kar amacı gütmeyen AI Forensics, Grok'a görsel üretimi için 50.000 tweet ve 20.000 görsel topladı ve bunların %53'ünün açık içerik içerdiğini tespit etti. Yapay zeka güvenliği üzerine çalışan politika araştırmaları, bazı AI şirketlerinin güvenlik çerçevelerinde rakiplerine uyum sağlamak için önlemleri yumuşatmalarına izin veren hükümler bulunduğunu ve bunun zincirleme bir etki yaratabileceğini belirtiyor.
