Sektör kıyaslamalarında %94 başarı gösteren bir kodlama ajanı, ilk gerçek uç durumda üretimde başarısız oldu. Çünkü kıyaslama tek turlu başarıyı ölçerken, asıl iş çok turlu iyileştirmeydi. Model, yeni kanıtlar geldiğinde inançlarını doğru şekilde güncelleyemedi; tek turlu hiçbir değerlendirme bunu yakalayamazdı. Bu varsayımsal bir senaryo değil; demoda parlayan ajanların, üretimin karmaşık girdilerinde nasıl dağıldığını bizzat gördüm. Ölçtüğümüzle sevk ettiğimiz arasındaki uçurum gerçek ve güvenilirlik burada yaşıyor ya da ölüyor.
Geleceği tahmin etmeyi gerektiren FutureBench gibi kıyaslamalar, ezberlenmiş veriler yerine gerçek akıl yürütmeyi test ediyor. BayesBench ise standart LLM değerlendirmelerinin yalnızca son tur cevaplarını puanladığını, çok turlu inanç güncellemesini tamamen göz ardı ettiğini gösterdi. Yedi model üzerinde yapılan testler, ölçek büyüdükçe gizli çıkarım ve kanıt birikiminin iyileştiğini ancak LLM'lerin rasyonel Bayes güncellemesine ulaşamadığını ortaya koydu. Üretimde ajanınız birçok tur çalışır; ilk turda duran kıyaslama, aslında bozulan şeyi ölçmüyor demektir.
KINA, bilgi kıyaslamalarındaki üç sistematik kusuru belirledi: disiplin temsilini göz ardı eden ölçek odaklı tasarımlar, tembel fikir birliğine izin veren düz ödeme yöntemi ve sınırlı test bütçelerinde denetlenmeyen sıralama istikrarsızlığı. En iyi model, 261 disiplinde 899 maddelik bir kıyaslamada %53.17'ye ulaştı. Bu doygunluk değil, iyileştirme alanıdır. Bir ekiple dağıttığımız belge işleme sisteminin demosu kusursuzdu; ilk üretim haftasında, eğitim verisinde hiç görülmeyen bir girdi formatıyla sessizce çöktü. Hata yükseltilmedi, çıktı mantıklıydı ama yanlıştı. Sorun model yeteneği değil, demoydu.
Mark Zuckerberg, Temmuz 2026'da Meta'daki yapay zeka ajan geliştirmenin beklenenden yavaş gittiğini kamuoyuna açıkladı. Bu teknik bir itiraf değil; demo ile dağıtım arasındaki mesafenin gerçek olduğunun ve asıl işin burada yattığının kabulüdür. Güvenilirlik tek özelliktir. Demo, bir ajanın yapabildiğini kanıtlar; üretim, kimsenin izlemediği, kötü girdilerle, gece 3'te tekrar tekrar yaptığını kanıtlar. Geri kalan her şey pazarlamadır. Çirkin girdilerde çalışanı sevk edin, küratörlü demoda parlayanı değil. Dağıtmadan önce gözlemlenebilirliği kurun. Ve üretimde gerçekten göreceğiniz hata modunu test etmeyen bir kıyaslamaya asla güvenmeyin.
