İngiltere'nin Bristol şehrinde, yaklaşık yarım milyon kişiyi kapsayan Think Family Database adlı bir veritabanı, 2016 yılında Bristol Belediyesi ve bölgesel polis gücü Avon ve Somerset Polisi tarafından hayata geçirildi. Veritabanı, polis istihbarat raporları, konut durumu, akıl sağlığı kayıtları, genç hamilelikler, ebeveynlik kurslarına katılım ve ücretsiz okul yemekleri gibi son derece hassas bilgileri depoluyordu. Yetkililer, bu verilerin üzerine makine öğrenimi modelleri inşa ederek binlerce yetişkin ve çocuğa risk puanları atadı. Amaçları, bölgedeki 'tehdit, zarar ve risk resmini' oluşturmaktı. Ancak bu yaklaşım, veri güvenliği ve mahremiyet açısından ciddi soru işaretleri doğurdu.
WIRED, kar amacı gütmeyen haber odası Liberty Investigates, Bristol Cable ve Lighthouse Reports işbirliğiyle yaptığı soruşturmada, Avon ve Somerset Polisi'nin tahmine dayalı analitik programının ayrıntılarını ortaya çıkardı. Polis gücünün oluşturduğu en az 23 farklı model arasında, kişilerin hırsızlık yapma, mahkemeye gelmeme, kaybolma veya aile içi şiddete maruz kalma riskini belirleyen algoritmalar vardı. Üst düzey bir polis memuru, bölgenin en tehlikeli suçlularının 'lig tablosunu' oluşturduklarını belirtti; bu, bölgede yaklaşık 300.000 kişi hakkında veri tutmak üzere tasarlanan Suçlu Yönetim Uygulaması'na (Offender Management App) atıfta bulunuyordu. Ancak bu araçların geliştirilme ve kullanılma şekli kamuoyuna tam olarak açıklanmadı.
Bristol'da yerel bir polis hesap verebilirlik grubunun lideri John Pegram, Suçlu Yönetim Uygulaması'nın varlığını ancak 2023'te, oluşturulmasından yıllar sonra öğrendi. Uygulamada yer aldığından şüphelenen Pegram, 2024'te polisten verilerinin nasıl kullanıldığını öğrenmek için başvuruda bulundu. Polis önce bilgi vermeyi reddetti, ardından Pegram'ın avukatları aracılığıyla yaptığı girişimler sonucu uygulamada olduğunu doğruladı ancak ayrıntı vermedi. Pegram, algoritma tarafından puanlanıp puanlanmadığını, puanının ne olduğunu veya bunun yetkililerle etkileşimlerini nasıl etkileyebileceğini hâlâ bilmiyor. Bu durum, Bristol genelinde ve dünyada giderek artan sayıda insanın karşılaştığı bir belirsizlik.
Soruşturma, en az iki risk puanlama modelinin, Bristol Belediyesi personeli tarafından artık güvenilmez bulunduğu için sessizce terk edildiğini ortaya koydu. Daha önce yayınlanmamış belgeler, hükümet müfettişleri ve bağımsız incelemeciler tarafından programın bazı unsurlarında endişe verici bir şeffaflık eksikliği olduğunu ve bu sistemlerin kamu güvenini zedeleyebileceğini gösteriyor. WIRED'e açıklanan 36.000'den fazla model performans puanını içeren polis verileri, bağımsız bir analist tarafından incelendiğinde 'gerçekten zayıf tahmin performansı' sergilediği belirtildi. Bu durum, yapay zeka ve veri madenciliği yoluyla suçu önleme çabalarının ne kadar güvenilir olduğu konusunda ciddi soru işaretleri yaratıyor.