Beagle SCM'nin geliştiricisi, yapay zeka modellerinin (özellikle LLM'ler) parlak ama bir o kadar da özensiz olduğunu belirtiyor. Andrej Karpathy'nin de dediği gibi, OpenAI araştırmacıları AI'larını geliştirerek aslında kendilerini otomatikleştiriyorlar. Ancak bu süreçte, Claude gibi modeller bazen build/ dizinini iki kez commit etmek gibi basit hatalar yapabiliyor. Yani model ne kadar zeki olursa olsun, özensizliği devam ediyor.
LLM'lerin doğası gereği bu sorun, modeller geliştikçe ortadan kalkmayacak. Çünkü LLM'ler kesin olmayan ve deterministik olmayan çıktılar üretmeye eğilimli. Örneğin, Ragel gibi bir parser jeneratörü, 10 bin satırlık resmi olarak doğru bir parser'ı anında ve deterministik bir şekilde oluşturabilirken, Claude'a aynı görev verildiğinde sürekli manuel parsing denemeleri yapıyor. Geliştiricinin talimatları büyük harflerle 'ASLA MANUEL AYRIŞTIRMA YAPMA' dese de model yine de deniyor.
Bu sorunu çözmenin yolu, pahalı, yavaş, özensiz ama parlak LLM'leri hızlı, güçlü ve deterministik araçlarla birleştirip, tüm süreci deterministik bir formal iş akışına oturtmak. Yani modeli daha hızlı hale getirmek, doğru zamanda doğru bilgiyi görmesini sağlamak, özensizliğini azaltmak ve kendi kendini düzeltmesine imkan tanımak. Parlak ama tutarsız deterministik olmayan yapıyı, güçlü deterministik araçlar ve eşit derecede formal süreçler arasına sıkıştırmak gerekiyor.
İşin daha da ilginç hale geldiği nokta, araçları ve süreçleri esnek hale getirmek. Böylece Claude belirli bir eylem dizisini çok sık yapıyorsa, onu otomatikleştiriyoruz. Eğer bir şeyde sürekli başarısız oluyorsa, doğrulama adımını otomatikleştiriyoruz. Sonuçta, LLM'nin kendisini otomatikleştirmesine izin veriyoruz; basit, güvenilir deterministik araçlar lehine. Bu yaklaşım, yapay zeka geliştirmede verimlilik ve güvenilirlik arasındaki dengeyi sağlamak için önemli bir strateji sunuyor.
