İngiltere'nin Bristol kentinde polis ve yerel yönetim tarafından 2016'da hayata geçirilen Think Family Database, yaklaşık 500 bin kişiye ait son derece hassas bilgileri depolayan dev bir veri tabanıydı. Polis istihbarat raporları, barınma durumu, ruh sağlığı kayıtları, genç hamilelikler, ebeveynlik kurslarına katılım ve ücretsiz okul yemekleri gibi verilerin toplandığı bu sistemde, yetkililer makine öğrenimi modelleri kullanarak binlerce yetişkin ve çocuğa risk puanları atadı. Amaç, bölgedeki 'tehdit, zarar ve risk tablosu' oluşturmaktı. 2022 başında bir polis veri bilimcisi yaklaşımı şöyle özetlemişti: 'Tüm verileri büyük bir kovaya döküp veri bilimi spatulasıyla karıştırıyorum ve herkes için güzel bir risk puanı çıkarıyoruz.'
Think Family Database, Avon ve Somerset Polisi'nin kapsamlı tahmine dayalı analitik programının sadece bir parçasıydı. Güçlerin oluşturduğu en az 23 ayrı model arasında, insanların hırsızlık yapma, mahkemeye gelmeme, kaybolma veya aile içi şiddet mağduru olma riskini belirleyen algoritmalar vardı. Bir üst düzey polis memuru, bölgedeki en tehlikeli suçluların 'lig tablosunu' oluşturduklarını belirtmişti. Bu, bölgede yaklaşık 300 bin kişiyle ilgili veri tutmak için tasarlanan Suçlu Yönetim Uygulaması'na (Offender Management App) atıfta bulunuyordu.
Polisin bu tahmin araçlarını nasıl geliştirdiği ve kullandığı kamuoyu tarafından her zaman net olarak bilinemedi. Bristol'deki yerel bir polis hesap verebilirlik grubunun lideri John Pegram, Suçlu Yönetim Uygulaması'nı oluşturulmasından yıllar sonra, 2023'te duyduğunu söylüyor. Öğrendiğinde uygulamada yer alabileceğinden şüphelenen Pegram, 2024 başında polisin verilerini nasıl kullandığını öğrenmek için başvuruda bulundu. Polis önce bilgi vermeyi reddetti, ardından avukatlarının devreye girmesiyle Pegram'ın uygulamada olduğunu doğruladı ancak detay paylaşmadı. Pegram gibi birçok Bristol sakini, bir algoritma tarafından puanlanıp puanlanmadığını, puanının ne olduğunu veya bunun yetkililerle etkileşimlerini nasıl etkileyebileceğini bilmiyor.
Sonuç ve Değerlendirme
WIRED, kâr amacı gütmeyen haber kuruluşu Liberty Investigates, Bristol Cable ve Lighthouse Reports ile işbirliği yaparak, kamu kayıt talepleriyle elde ettiği yüzlerce sayfa belgeyle Avon ve Somerset'in veri toplama ve tahmine dayalı analitik deneyinin şimdiye kadarki en kapsamlı resmini oluşturdu. Soruşturma, bu risk puanlama modellerinden en az ikisinin, Bristol Belediyesi çalışanlarının artık güvenemeyeceklerine karar vermesi üzerine sessizce terk edildiğini ortaya koydu. Daha önce rapor edilmeyen belgeler, hükümet denetçileri ve bağımsız incelemecilerin programın bazı unsurlarındaki şeffaflık eksikliğine dikkat çektiğini ve sistemlerin kamu güvenini zedeleyebileceği uyarısında bulunduğunu gösteriyor.
Polis tarafından WIRED ile paylaşılan ve 36 binden fazla model performans puanını içeren veriler, WIRED için verileri inceleyen bağımsız bir analiste göre bazı durumlarda 'gerçekten zayıf tahmin performansı' sergiliyor. Bu durum, yapay zeka ve makine öğrenimi destekli suç tahmin sistemlerinin ne kadar güvenilir olduğu konusunda ciddi soru işaretleri yaratıyor. Bristol örneği, büyük veri ve algoritmaların kamu güvenliği adına kullanılmasının potansiyel risklerini ve denetim eksikliğini gözler önüne seriyor. Sistemin şeffaf olmaması, bireylerin kendileri hakkında alınan kararları sorgulamasını imkânsız hale getiriyor.
Teknik Analiz
Bu olay, dünya genelinde polis teşkilatlarının suçu önlemek için giderek daha fazla başvurduğu tahmine dayalı analitik araçların etik ve pratik sorunlarına ışık tutuyor. Verilerin toplanma biçimi, algoritmaların önyargılı olma riski ve sonuçların şeffaf bir şekilde denetlenmemesi gibi konular, bu tür sistemlerin adil ve güvenilir olmasını engelliyor. Bristol'de yaşananlar, teknolojinin suçla mücadelede kullanılmasının, beraberinde getirdiği sorumlulukları da dikkate almayı gerektirdiğini gösteriyor. John Pegram gibi aktivistler, bu tür uygulamaların tamamen kaldırılmasını veya en azından sıkı bir denetime tabi tutulmasını talep ediyor.
Kaynak: wired.com
