İngiltere'nin Bristol kentinde 2016 yılında hayata geçirilen Think Family Veritabanı, yaklaşık yarım milyon kişiye ait hassas bilgileri topladı. Polis istihbarat raporları, konut durumu, ruh sağlığı kayıtları, genç hamilelikler, ebeveynlik kursları ve ücretsiz okul yemekleri gibi verileri içeren bu sistem, makine öğrenimi modelleriyle kişilere risk puanı atadı. Bir polis veri bilimcisi, 'Tüm verileri büyük bir kovaya atıp veri bilimi spatulasıyla karıştırıyorum ve herkes için güzel bir risk puanı çıkarıyorum' diyerek süreci tanımladı.
Avon ve Somerset Polisi'nin kapsamlı tahmine dayalı analitik programı, en az 23 farklı model içeriyordu. Bunlar arasında hırsızlık yapma, mahkemeye gelmeme, kaybolma veya aile içi şiddet mağduru olma riskini hesaplayan algoritmalar vardı. Üst düzey bir polis yetkilisi, bölgedeki en tehlikeli suçluların 'sıralama tablosu' oluşturulduğunu belirtti. Suçlu Yönetim Uygulaması olarak adlandırılan bu sistem, yaklaşık 300 bin kişi hakkında veri tutuyordu.
Ancak bu sistemlerin şeffaflığı büyük sorun yarattı. Bristol'deki bir polis hesap verebilirlik grubunun lideri John Pegram, uygulamadan yıllar sonra haberdar oldu. Verilerinin nasıl kullanıldığını öğrenmek için başvurduğunda polis bilgi vermeyi reddetti. Hukuki mücadele sonucu Pegram'ın uygulamada olduğu doğrulandı ancak puanı veya etkileri hakkında bilgi verilmedi. WIRED'in Liberty Investigates ile ortak yürüttüğü soruşturma, en az iki risk puanlama modelinin güven kaybı nedeniyle sessizce terk edildiğini ortaya koydu.
Bağımsız analistler, 36 binden fazla model performans puanının incelenmesi sonucu bazı modellerin 'gerçekten zayıf tahmin performansı' gösterdiğini belirtti. Hükümet denetçileri ve bağımsız değerlendiriciler, programın bazı unsurlarında çarpıcı bir şeffaflık eksikliği olduğu ve sistemlerin kamu güvenini zedeleyebileceği uyarısında bulundu. Bu durum, yapay zeka destekli suç tahmin sistemlerinin etik ve güvenilirlik sorunlarını bir kez daha gündeme getirdi.
