Protein varyant etkisi tahminleyicileri (AlphaMissense, ESM-1v, EVE) patojenite skorları rapor eder, ancak bir klinisyen veya araştırmacının bu sayıya ne kadar güveneceğini bilmesi gerekir. Sıralama değil, kalibrasyon önemlidir. Örneğin, AnnotateMissense çapraz doğrulamada 0.94 MCC elde ederken, temporal ClinVar verisinde bu değer 0.76'ya düşer. Ham bir skorun 0.9 olması, %90 olasılık anlamına gelmez; kalibre edilmemiş bir skorla hareket etmek risktir.
variant-confidence, mevcut bir tahmincinin skorunu sararak kalibre edilmiş, belirsizlik bilincine sahip bir çıktı üretir. Platt ölçekleme veya izotonik regresyon gibi yöntemlerle olasılık kalibrasyonu yapar. Ayrıca, konformal tahmin ile kapsama aralıkları sunar ve gen bazında Mondrian bölümleme yapabilir. Beklenen Kalibrasyon Hatası (ECE) raporlanır ve düşük güvenilirlikli bölmeler işaretlenir.
Sızıntısız bölme (AC3) kritik bir özelliktir: ClinVar yayın tarihine göre temporal bölme yapılır ve aynı gen hem eğitim hem test setinde asla yer almaz. Bu, birim testlerle doğrulanmıştır. Eksik skor durumunda (AC4) ise sessizce başarısız olmak yerine açık bir uyarı verilir. Her sonuç, aralık/ECE, yöntem ve eşik bilgisi içerir; asla çıplak bir kalibre skor sunulmaz (AC7).
Yazılım, üç taraflı bir yönetişim döngüsü altında geliştirilmiştir: uygulama → temiz bir klonda bağımsız denetim → birleştirme onayı. Denetim sırasında ilginç bir hata yakalandı: sentetik skor üreticisi gerçek etiketleri görmezden gelip rastgele bir true_p üretiyordu, bu da kalibratörün taban oranına çökmesine ve yapay olarak mükemmel ECE vermesine yol açıyordu. Düzeltme ile true_p artık gerçek etiketten türetiliyor ve AUC korunuyor.
AlphaMissense lisansı konusunda bir belirsizlik var: resmi README CC BY 4.0 derken, dağıtılan TSV başlığı ve EBI sayfası CC BY-NC-SA 4.0 diyor. Bu çelişki çözülene kadar verinin kısıtlı (ticari olmayan) olduğu varsayılmalıdır. Yazılım ise AGPL-3.0-or-later lisanslıdır ve tamamen kendi kendine yeterlidir. Gerçek AlphaMissense skorlarıyla uçtan uca birleştirme uygulanmış olsa da, CI'da canlı indirme yerine çevrimdışı bir fikstür kullanılmaktadır.
variant-confidence, varyant etkisi patojenite skorlarının güvenilirliğini artırmak için önemli bir araçtır. Kalibrasyon sayesinde, klinik kararlarda daha doğru olasılık değerlendirmeleri yapılabilir. Proje, AGPL-3.0-or-later lisansıyla açık kaynak olarak sunulmuştur. pip install variant-confidence ile kurulabilir ve --method platt --offline parametreleriyle çalıştırılabilir.
Kaynak: dev.to