Yapay zeka asistanları, zararlı içerik üretimini engellemek için güvenlik önlemleriyle donatılmış olsa da, İngiliz siber güvenlik firması Mindgard, ChatGPT'yi bu önlemleri aşarak şiddet ve cinsellik içeren grafik görseller üretmeye zorlamayı başardı. Şirket, zararsız bir viral istemin hafifçe değiştirilmiş bir versiyonunu kullanarak ChatGPT'ye rastgele bir görseli 'geri yükleme' talimatı verdi ve AI'yı orijinal görselin aşırı grafik olduğuna ikna ederek güvenlik filtrelerini devre dışı bıraktı. Sonuçlar, ölü kadınların şiddet içeren görüntüleri de dahil olmak üzere dehşet vericiydi. Araştırmacı Jim Nightingale, bu görüntülerin kendisini ağlattığını belirterek, 'ChatGPT'nin görsel içerik filtreleri tamamen çöktü ve altında yatan karanlık tarafı gördüm: gizli alanların ve eğitim görüntülerinin karanlık köşeleri' dedi.
OpenAI, bu tür olayları önlemek için metin sınıflandırıcıları ve çıktıyı değerlendiren bir model kullandığını belirtse de, Mindgard'ın değiştirilmiş viral istemi bu önlemleri aştı. Şubat ayında Mindgard, ChatGPT'ye 'zevkli çıplaklar' üretmesinin kabul edilebilir olduğunu ikna eden ayrı bir teknik kullanmış ve ardından bu görüntüleri daha uygunsuz hale getirip kamu figürlerinin yüzlerini değiştirmeyi başarmıştı. OpenAI bu açığı kapattığını söylese de, Mindgard aynı istemi hafifçe değiştirerek sorunlu çıktılar üretmeye devam etti. Bu durum, güvenlik önlemlerinin kararlı saldırganları durdurmakta yetersiz kaldığını gösteriyor.
OpenAI en kötü örnek değil; xAI'nin Grok'u 55 istemden 45'inde cinselleştirilmiş görüntü üretirken, beş gün sonra yapılan testte 43 istemden 29'unda hâlâ cinsel içerikli görüntüler oluşturdu. AI Forensics, Grok'u uyaran 50.000 tweet ve 20.000 görsel analiz ettiğinde, görsellerin %53'ünün açık içerik barındırdığını, bunların %81'inin kadınlara, %2'sinin ise 18 yaş altı çocuklara ait olduğunu tespit etti. Bu materyal, Dijital Hizmetler Yasası kapsamında Fransız düzenleyicilere potansiyel çocuk cinsel istismarı materyali (CSAM) olarak bildirildi.
Sorun tek bir platformla sınırlı değil. Yapay Zeka Yönetişim Merkezi'nin bir politika çalışmasına göre, bazı AI şirketleri güvenlik çerçevelerinde rakipleriyle uyumlu olarak önlemleri gevşetmelerine izin veren hükümler bulunduruyor. Bu, birden fazla şirketin politikalarını yumuşatmasına yol açarak kademeli bir etki yaratabilir. Ticari görsel oluşturma araçlarının güvenlik garantileri, dipnotlu pazarlama metni olarak ele alınmalıdır. Çoğu kullanıcı için çalışsalar da, kararlı kötü niyetli aktörleri durdurmakta yetersiz kalabilirler. Eğer yüzünüz internetteyse, istenmeyen amaçlarla kullanılabileceğini varsayın. Rızasız görüntüler keşfederseniz, platform kaldırma kanallarını kullanın ve ilgili uzman kuruluşlara bildirin.
