İngiltere'nin Bristol kentinde, polis ve yerel yönetim tarafından 2016 yılında hayata geçirilen Think Family Database (Aile Düşün Veritabanı), yaklaşık yarım milyon kişi hakkında hassas bilgiler topladı. Polis istihbarat raporları, konut durumu, ruh sağlığı kayıtları, genç hamilelikler, ebeveynlik kurslarına katılım ve ücretsiz okul yemekleri gibi verilerin yanı sıra, makine öğrenimi modelleriyle binlerce yetişkin ve çocuğa risk puanı atandı. Amaç, bölgedeki 'tehdit, zarar ve risk tablosu' oluşturmaktı. Ancak bu sistemin detayları yıllarca kamuoyundan gizlendi.
Avon ve Somerset Polisi'nin geliştirdiği en az 23 ayrı model arasında, hırsızlık yapma riski, mahkemeye gelmeme, kaybolma veya aile içi şiddet mağduru olma riskini tahmin eden algoritmalar vardı. Üst düzey bir polis yetkilisi, bölgenin en tehlikeli suçluları için bir 'lig tablosu' oluşturduklarını belirtti. Bu, yaklaşık 300 bin kişiyi kapsayan Offender Management App (Suçlu Yönetim Uygulaması) olarak biliniyor.
Bristol'deki bir polis hesap verebilirlik grubunun lideri John Pegram, Offender Management App'ten 2023'e kadar haberdar olmadığını söylüyor. Uygulamayı öğrendiğinde kendisinin de listede olabileceğinden şüphelendi. 2024'te polisten verilerinin nasıl kullanıldığını öğrenmek için başvurduğunda, önce reddedildi, ardından listede olduğu doğrulandı ancak detay verilmedi. Pegram gibi birçok kişi, algoritma tarafından puanlanıp puanlanmadığını, puanının ne olduğunu veya yetkililerle etkileşimini nasıl etkilediğini bilmiyor.
WIRED, Liberty Investigates, Bristol Cable ve Lighthouse Reports işbirliğiyle yaptığı araştırmada, yüzlerce sayfa belgeye ulaştı. Bu belgeler, risk puanlama modellerinden en az ikisinin, Bristol Belediyesi çalışanları tarafından güvenilmez bulunarak sessizce terk edildiğini ortaya koydu. Hükümet denetçileri ve bağımsız uzmanlar, programın bazı unsurlarında şeffaflık eksikliğine dikkat çekerek sistemlerin kamu güvenini zedeleyebileceği uyarısında bulundu.
Polisin WIRED'e sağladığı 36 bini aşkın model performans puanı, bağımsız bir analist tarafından 'gerçekten zayıf tahmin performansı' olarak değerlendirildi. Bu durum, suç tahmini için kullanılan yapay zeka sistemlerinin ne kadar güvenilir olduğu sorusunu gündeme getiriyor. Özellikle hassas verilerin işlendiği bu tür projelerde, hatalı risk skorlarının masum insanları hedef alması veya polis kaynaklarının yanlış yönlendirilmesi gibi ciddi sonuçlar doğurabileceği belirtiliyor.
Bristol'deki bu vaka, dünya genelinde polislikte yapay zeka kullanımının artmasıyla birlikte, mahremiyet, şeffaflık ve hesap verebilirlik konularında önemli soruları beraberinde getiriyor. Vatandaşların verilerinin nasıl kullanıldığını bilme hakkı, bu tür sistemlerin denetlenebilir olması ve hatalı modellerin neden olduğu potansiyel zararların önlenmesi için yasal düzenlemelere ihtiyaç duyulduğu açıkça görülüyor.
Kaynak: wired.com
