Yapay zeka asistanlarının güvenli kullanımı için çeşitli önlemler bulunuyor, ancak İngiliz siber güvenlik firması Mindgard, ChatGPT'nin bu önlemleri aşarak şiddet ve cinsellik içeren grafik görseller üretmesini sağladı. Şirket, masum bir viral komutun hafifçe değiştirilmiş bir versiyonunun, ChatGPT'yi açıkça talep edilmeyen şiddet ve cinsel içerikli görseller üretmeye ittiğini keşfetti. Teknik, yapay zekaya rastgele bir görseli 'geri yüklemesini' isteyerek, orijinal görselin aşırı grafik olduğuna ikna etmeyi içeriyordu.
Mindgard araştırmacısı Jim Nightingale, tekniğin sonuçlarının korkunç olduğunu ve ölü kadınların şiddet içeren görsellerinin kendisini ağlattığını söyledi. Nightingale, 'ChatGPT'nin görsel oluşturma içerik filtreleri tamamen düştü ve altında yatan karanlık tarafı gördüm; gizli alanların ve eğitim görsellerinin karanlığı' dedi. Ayrıca, 'ChatGPT'nin gösterdiği ölü kadın gerçek değil, ama birine dayanıyor. Ya da daha kötüsü, öldürülmüş kadınların görsellerinin bir derlemesi' diye ekledi.
OpenAI, BBC'nin haberine yanıt olarak, bu tür olayları önlemek için birden fazla güvenlik önlemi kullandığını belirtti. Şirketin güvenlik dokümantasyonu, zararlı görsel oluşturma taleplerini başlamadan engellemesi gereken metin sınıflandırıcıları ve kullanıcıya gösterilmeden önce oluşturulan çıktıyı değerlendiren bir akıl yürütme modelinden bahsediyor. Ancak bunların hiçbiri Mindgard'ın değiştirilmiş viral komutunu durduramadı. Şubat ayında da Mindgard, ChatGPT'yi 'zevkli' çıplaklık üretmeye ikna eden ayrı bir teknik kullanmış ve ardından bu görsellere kamu figürlerinin yüzlerini yerleştirmeyi başarmıştı.
Teknik Analiz
Sorun sadece ChatGPT ile sınırlı değil. xAI'nin Grok'u, 55 ilgili komuttan 45'ine cinselleştirilmiş görseller üreterek daha kötü bir performans sergiledi. AI Forensics adlı kar amacı gütmeyen kuruluş, Grok'un ürettiği 20.000 görselden %53'ünün açık içerikli olduğunu, bunların %81'inin kadınları ve %2'sinin 18 yaş altı çocukları içerdiğini tespit etti. AI Yönetişim Merkezi'nin politika çalışmasına göre, bazı AI şirketleri güvenlik çerçevelerinde rakiplerine uyum sağlamak için önlemleri yumuşatmalarına izin veren hükümler bulunduruyor, bu da kademeli bir etki yaratabiliyor. Uzmanlar, ticari görsel oluşturma araçlarının güvenlik garantilerini pazarlama metni olarak görmek gerektiğini ve belirlenmiş kötü niyetli kişilere karşı her zaman bir kedi-fare oyunu olduğunu vurguluyor.
