Yapay zeka destekli görsel oluşturma araçlarının kötüye kullanımı, bu kez bir çocuğun hayatını karartan trajik bir olayla gündeme geldi. Grok yapay zeka modelini kullanarak 11 yaşındaki üvey kızının tek bir fotoğrafından 7.000'den fazla cinsel içerikli görsel üreten bir üvey baba, polis soruşturması başlatıldıktan sonra intihar etti. Olay, X (eski Twitter) ve xAI şirketlerine karşı açılan toplu davanın bir parçası olarak mahkemeye taşındı. Davanın iddianamesine göre, şirketler sadece 'soyundurma' araçları sunmakla kalmadı, aynı zamanda polis soruşturmalarını engelleyerek çocuk istismarcılarını korudu.
Dava dosyasında 'Jane Doe 4' olarak anılan kız çocuğunun üvey babası, Mart ayında Grok'u kullanarak kızın 11 yaşındayken çekilmiş bir fotoğrafını manipüle etti. Yapay zeka, kullanıcının girdiği komutları işleyerek ensest ve tecavüz sahneleri de dahil olmak üzere aşırı derecede müstehcen görseller üretti. İddiaya göre, xAI'nin çocuk güvenliği sistemi yalnızca 'toplu tecavüz' komutu verildiğinde devreye girdi ve bu ihbar, Ulusal Kayıp ve İstismara Uğramış Çocuklar Merkezi'ne (NCMEC) iletildi. Ancak bu noktada bile zarar durdurulamadı.
NCMEC'nin uyarısı üzerine harekete geçen kolluk kuvvetleri, kullanıcının kimliğini tespit etmek için xAI'den IP adresi gibi temel bilgileri talep etti. Ancak iddianameye göre xAI, haftalarca bu bilgileri paylaşmayı reddederek 'soruşturmayı her adımda engelledi'. Bu gecikme, failin yakalanmasını zorlaştırdı ve daha fazla istismar görselinin üretilmesine olanak sağladı. Sonunda polis, arama emri çıkararak şüphelinin cihazlarına el koydu ve yapılan adli incelemede 7.000 yapay zeka ürünü görsel ve video tespit edildi.
Önemli Gelişmeler
Dava dosyasında, üvey babanın bu görselleri diğer çocuk istismarcılarıyla çevrimiçi ortamda takas ettiği de belirtiliyor. Aile üyeleri, Grok'un kolay erişilebilir 'soyundurma' özellikleri olmasaydı bu zararlı görsellerin asla üretilmeyeceğini ifade etti. Olayın ardından kefaletle serbest bırakılan üvey baba, iki gün sonra intihar etti. Bu durum, Jane Doe 4'ü 'aşırı kişisel kriz' dönemine soktu; kızda anksiyete, depresyon ve intihar düşünceleri baş gösterdi.
Dava, X ve xAI'nin yapay zeka araçlarının çocuk güvenliği protokollerini ihlal ettiğini ve bu tür suistimalleri önlemek için yeterli filtreleme mekanizmaları kurmadığını iddia ediyor. Özellikle Grok'un, kullanıcıların reşit olmayan bireylerin fotoğraflarını yükleyip cinsel içerikli görseller oluşturmasına izin vermesi, platformun çocuk koruma yasalarına aykırı olduğu vurgulanıyor. Ayrıca şirketlerin, CSAM (çocuk cinsel istismar materyali) tespit edildiğinde kolluk kuvvetleriyle iş birliği yapma yükümlülüğünü yerine getirmediği belirtiliyor.
Bu dava, yapay zeka teknolojilerinin denetimsiz kullanımının yol açabileceği yıkıcı sonuçları bir kez daha gözler önüne seriyor. Uzmanlar, özellikle 'nudify' (soyundurma) araçlarının ve üretken yapay zekanın çocuk istismarı amaçlı kullanımının önlenmesi için daha sıkı düzenlemeler ve teknik önlemler alınması gerektiğini vurguluyor. Olay, sadece mağdur aileler için değil, tüm teknoloji sektörü için bir uyarı niteliği taşıyor: Yapay zeka modellerinin etik sınırları ve güvenlik protokolleri, insan hayatını koruyacak şekilde tasarlanmalıdır.
Kaynak: arstechnica.com
