Herkes ilk LLM yönlendiricisini çalıştırdığında aynı şeyi yapar: pahalı kodlama ajanını ücretsiz bir yerel modele yönlendirir ve faturanın sıfırlanmasını izler. Ancak ajan bir dosyayı düzenlemeye kalkıştığında işler bozulur. Claude Code yönlendiricilerinin hata kayıtlarında veya r/LocalLLaMA forumlarında aynı hikayenin yüzlerce varyasyonu bulunur: yönlendirme mükemmel çalışır, ama oturum yine de ölür. En yaygın ölüm nedenleri arasında hatalı araç argümanları (eksik parantez gibi JSON hataları), bayat dize eşleştirme (küçük modellerin dosyadaki satırı ezberden yanlış aktarması), hayal edilmiş bağlam (test komutlarını yanlış framework ile çağırma) ve sonsuz döngüler (aynı dosyayı defalarca okuma) yer alır.
İşin rahatsız edici kısmı şu: bunların hiçbiri yönlendiricinin hatası değil, ama hepsi yönlendiricinin suçu. Yönlendirici 'bu istek ucuz model için güvenli' kararı verir ve yanılır. Çoğu yönlendirme kurulumu statik kurallar kullanır: token eşikleri, anahtar kelime listeleri, senaryo yuvaları. Bunlar belirli ve öngörülebilir bir şekilde başarısız olur: isteğin boyutunu ölçerler, riskini değil. 'session.js'deki auth hatasını düzelt' gibi sekiz kelimelik bir istek, token bazlı her kural tarafından küçük modele yönlendirilir. Oysa bu sekiz kelime, küçük modellerin en çok zorlandığı bir okuma-arama-düzenleme-test döngüsünü başlatır.
Risk bilincine sahip yönlendirme, tasarruf etmeme kararlarına odaklanır. Lynkr yönlendiricisinde araçlar sadece sayılmaz, ağırlıklandırılır: Bash 0.9, Write 0.8, Edit 0.7 gibi risk ağırlıkları atanır. Grep gibi düşük riskli araçlar 0.2 alır. İki istek de beş araç içerebilir ama çok farklı seviyelere yönlendirilir. Ayrıca, oturum ortası sinyalleri dikkate alınır: eğer konuşma zaten üç araç sonucu içeriyorsa, bir ajan akışının içindesiniz demektir ve modeli düşürmek döngüyü bozar. Her istekle birlikte gönderilen 14 araç şeması safça sayılmaz; yalnızca isteğin gerçekten kullanabileceği araçlar puanlanır.
Sonuç: trafiğimin %70-90'ı ücretsiz yerel modellere yönlendirilir, ama bu doğru %70-90'dır. Araştırma amaçlı istekleri aşağı, mutasyon gerektirenleri yukarı yönlendirin. Yönlendiriciniz bir Grep isteğini Edit isteğinden ayırt edemiyorsa, yönlendirme yapmıyor, hangi oturumların bozulacağına dair kumar oynuyordur. Asla döngü ortasında model düşürmeyin; bir ajan dizisi boyunca model tutarlılığı, ucuz bir turun marjinal tasarrufundan daha değerlidir. Yerel modellerin araç çağırma yetenekleri her çeyrekte iyileşiyor; araç bazlı yargıya sahip bir yönlendirici, güvenle düşürülebilecek istekler kümesini kademeli olarak genişletebilir.
