Bir kodlama ajanı, sektör kıyaslamalarında %94 başarıya ulaştı. Ancak üretime alındığında ilk uç durumda başarısız oldu. Çünkü kıyaslama yalnızca tek turlu başarıyı ölçerken, gerçek iş akışı çok turlu iyileştirmeler gerektiriyordu. Model, yeni veriler geldiğinde inançlarını doğru şekilde güncelleyemedi; bu, hiçbir tek turlu değerlendirmenin yakalayamayacağı bir sorundu. Bu sadece teorik bir senaryo değil; birçok ekip, ajanların demoda parlayıp üretimde dağıldığına tanık oldu. Ölçtüğümüzle ürüne yansıyan arasındaki uçurum, güvenilirliğin yaşandığı veya öldüğü yerdir.
Kıyaslamalar asıl noktayı kaçırıyor. FutureBench, ajanları eğitim verilerinin kesildiği tarihten sonraki olayları tahmin etmeye zorlayarak, doğru cevapların ezberlenmiş verilerden değil gerçek muhakemeden gelmesini sağlıyor. BayesBench ise standart LLM değerlendirmelerinin yalnızca son tur cevaplarını tek turlu formatta ölçtüğünü, çok turlu inanç güncellemesini tamamen göz ardı ettiğini gösterdi. Yedi model üzerinde yapılan testler, ölçeklemenin gizli çıkarım ve kanıt birikimini iyileştirdiğini ancak LLM'lerin rasyonel Bayes güncellemesine ulaşamadığını ortaya koydu. Üretimde ajanlar birçok tur çalışır; ilk turda duran bir kıyaslama, gerçekte bozulan şeyi ölçmüyor demektir.
KINA, bilgi kıyaslamalarındaki üç sistematik kusuru belirledi: ölçekleme odaklı tasarımların disiplin temsilini göz ardı etmesi, düz ödeme yönteminin değerlendiriciler arasında tembel mutabakata izin vermesi ve sınırlı test bütçelerinde denetlenmemiş sıralama istikrarsızlığı. En iyi model, 261 disiplinde 899 maddelik bir kıyaslamada %53,17 başarıya ulaştı. Bu doygunluk değil, gelişim alanıdır. Demolar yalan söyler; bir ekip, on seçilmiş vaka ile kusursuz görünen bir belge işleme sistemi kurdu. İlk üretim haftasında, eğitim verisinde görülmeyen bir girdi formatıyla karşılaştı ve sistem sessizce başarısız oldu. Hata bildirilmedi, çıktı makul görünüyordu ama yanlıştı. Sorun model yeteneği değil, demonun mutlu yolu test ederken üretimin uç durumlar getirmesiydi.
Uzmanların Görüşleri
Mark Zuckerberg, Temmuz 2026'da Meta'da AI ajan geliştirmenin beklenenden yavaş gittiğini kamuoyuna açıkladı. Bu teknik bir itiraf değil, demo ile teslimat arasındaki mesafenin gerçek olduğunu ve asıl işin burada yapıldığını kabul etmektir. Güvenilirlik tek özelliktir. Demo, bir ajanın yapabildiğini kanıtlar. Üretim ise bir ajanın, kimse izlemezken, kötü girdilerle, gece 3'te, tekrar tekrar yaptığını kanıtlar. Gerisi pazarlamadır. Çirkin girdilerde çalışanı teslim edin, seçilmiş demoda parlayanı değil. Gözlemlenebilirliği teslimattan önce kurun. Ve üretimde gerçekten karşılaşacağınız başarısızlık modunu test etmeyen hiçbir kıyaslamaya güvenmeyin.
