Herkes ilk LLM yönlendiricisini çalıştırdığında aynı şeyi yapar: pahalı kodlama ajanını ücretsiz bir yerel modele yönlendirir ve faturanın sıfıra düştüğünü görür. Ancak ajan bir dosyayı düzenlemeye kalkıştığında işler ters gider. Claude Code yönlendiricilerinin hata kayıtlarında veya r/LocalLLaMA'da sıkça rastlanan sorunlar arasında bozuk araç argümanları, eski dize eşleştirme, halüsinasyonlu bağlam ve sonsuz döngüler yer alır. Örneğin, küçük modeller JSON'da kapanış parantezini unutur, dosyadaki gerçek dizeyi ezberden yanlış aktarır veya aynı dosyayı defalarca okur. Bu hatalar yönlendiricinin hatası olmasa da, modelin yetenek uçurumundan kaynaklanır.
Mevcut yönlendirme kurulumları genellikle token sayısı, anahtar kelime listeleri gibi statik kurallarla karar verir. Ancak bu kurallar, isteğin boyutunu değil riskini ölçer. Örneğin, "session.js'deki auth hatasını düzelt" gibi kısa bir ifade token bazlı kurallarla küçük modele yönlendirilir, ancak bu istek okuma-arama-düzenleme-test döngüsü gerektirir ve küçük modeller bu tür iş yüklerinde başarısız olur. Öte yandan, "iyimser ve kötümser kilitleme arasındaki farkı açıkla" gibi uzun bir soru, araç çağrısı gerektirmediği için küçük modeller için idealdir. Boyut ve risk, ajan trafiğinde neredeyse ilişkisizdir.
Lynkr yönlendiricisini tasarlarken, asıl odak paradan ne zaman tasarruf edilmemesi gerektiğiydi. Risk ağırlıklı araç değerlendirmesi: Grep ve Read gibi araçlar düşük riskli (paraphrase toleranslı), Bash, Write ve Edit gibi araçlar yüksek riskli (tam eşleşme gerektirir) olarak puanlanır. Oturum ortası sinyali: Konuşma zaten araç sonuçları içeriyorsa, model düşürülmemelidir çünkü birikmiş durum kaybolur. Temel yük çıkarımı: Claude Code her isteğe ~14 araç şeması ekler; bunları saymak yerine yalnızca gerçekten kullanılabilecek araçlar puanlanır. Ayrıca, selamlaşmalar her zaman yerel modele, güvenlik hassasiyeti olan analizler ise her zaman güçlü modele yönlendirilir. Bu yaklaşımla isteklerin %70-90'ı yerel modellere yönlendirilir, ancak bu doğru %70-90'dır.
Sonuç olarak, araştırma istekleri aşağı, mutasyon istekleri yukarı yönlendirilmelidir. Yönlendiriciniz Grep isteğini Edit isteğinden ayırt edemiyorsa, yönlendirme yapmıyor, hangi oturumların bozulacağına dair kumar oynuyordur. Asla döngü ortasında model düşürmeyin; ajan dizisi boyunca model tutarlılığı, tek bir ucuz adımın marjinal tasarrufundan daha değerlidir. Oturum hayatta kalma oranını ölçün; %60 tasarruf edip beş oturumdan birini bozan bir kurulum, değiştirdiği faturalardan daha pahalıdır. Yerel modellerin araç çağırma yetenekleri her çeyrekte gelişiyor; doğru yönlendirme ile güvenle düşürülebilecek istek havuzu genişliyor.
