İngiltere'nin Bristol şehrinde, 2016 yılında Bristol Belediyesi ve Avon ile Somerset Polisi tarafından başlatılan Think Family Database, yarım milyona yakın kişi hakkında hassas bilgiler topladı. Polis istihbarat raporları, konut durumu, ruh sağlığı kayıtları, genç hamilelikler, ebeveynlik kurslarına katılım ve ücretsiz okul yemekleri gibi verilerin depolandığı bu veritabanı, makine öğrenimi modelleriyle binlerce yetişkin ve çocuğa risk puanı atadı. Amaç, bölgede 'tehdit, zarar ve risk resmi' oluşturmaktı. Ancak bu sistemin varlığından çoğu kişinin haberi yoktu.
Think Family Database, polisin kapsamlı tahmine dayalı analitik programının sadece bir parçasıydı. En az 23 farklı model arasında, insanların hırsızlık yapma, mahkemeye gelmeme, kaybolma veya aile içi şiddete maruz kalma riskini belirleyen algoritmalar vardı. Bir üst düzey polis memuru, bölgenin en tehlikeli suçluları için bir 'lig tablosu' oluşturduklarını belirtti. Bu, bölgede yaklaşık 300 bin kişi hakkında veri tutan Offender Management App'e atıftı. Ancak bu araçların geliştirilmesi ve kullanımı halka açık değildi.
Bristol'deki bir polis hesap verebilirlik grubunun lideri John Pegram, Offender Management App'i ilk kez 2023'te duydu ve kendisinin de bu uygulamada olabileceğinden şüphelendi. 2024'te polise verilerinin nasıl kullanıldığını sormak için başvurduğunda, polis önce cevap vermedi, ardından uygulamada olduğunu doğruladı ancak ayrıntı vermedi. Pegram gibi birçok kişi, bir algoritma tarafından puanlanıp puanlanmadığını, bu puanın ne olduğunu veya yetkililerle etkileşimlerini nasıl etkileyebileceğini bilmiyor.
WIRED, Liberty Investigates, Bristol Cable ve Lighthouse Reports ile yaptığı ortak çalışmada, kamu kayıt talepleriyle yüzlerce sayfa belge elde etti. Bu belgeler, en az iki risk puanlama modelinin, Bristol Belediyesi çalışanlarının güvenini kaybetmesi üzerine sessizce terk edildiğini ortaya koydu. Bağımsız bir analist, polisin açıkladığı 36 binden fazla model performans puanının bazı durumlarda 'gerçekten zayıf tahmin performansı' gösterdiğini belirtti. Hükümet denetçileri ve bağımsız incelemeciler, programın bazı unsurlarında çarpıcı bir şeffaflık eksikliğine dikkat çekti ve sistemlerin kamu güvenini zedeleyebileceği uyarısında bulundu.
