A. Karpathy bir keresinde OpenAI araştırmacılarının yapay zekalarını geliştirerek etkili bir şekilde "kendilerini otomatikleştirdiklerini" söylemişti. Şu anda Beagle SCM'yi Anthropic's Fable ile geliştiriyorum ve bu elbette bir kod dağında sirkeleri tespit edebilen, bildirimleri dosyalayabilen, düzeltmeler yapabilen harika bir model. Yine de dün build/dir'i bir projeye iki kez işlemeyi başardı. Harika ama beceriksiz.
Yüksek Lisans'ların doğası gereği bu sorun, ilerledikçe de ortadan kalkmıyor. Kesin olmayan ve deterministik olma eğilimindedirler. Ayrıştırıcı oluşturucu Ragel, 10 KLoC'lik resmi olarak doğru bir ayrıştırıcıyı anında ve belirleyici bir şekilde "kodlayabilir". Peki ya Claude? Talimatlarımda tamamı büyük harflerle yazıyor: HİÇBİR ŞEYİ MANUEL OLARAK AYRIŞTIRMAYIN. Bu işkence olur ve kusurlu olur, sadece yapmayın. Yine de dener, bu yüzden periyodik olarak ona manuel ayrıştırma girişimlerini bulup kaldırmak için kod tabanını taramasını söylüyorum. Bu çoğunlukla işe yarıyor.
Gittikçe daha parlak hale geliyor, daha az hantal değil.
Detaylar ve Etkileri
Pahalı, yavaş, hantal ama mükemmel bir Yüksek Lisans eğitimiyle başa çıkmanın yolu, ona hızlı, güçlü ve deterministik araçlar vermek VE her şeyi deterministik bir resmi iş akışına inşa etmektir. Daha hızlı yapın, ilgili şeyleri doğru zamanda görmesini sağlayın, daha az hantal hale getirin, kendi kendine düzeltmesini sağlayın. Güçlü deterministik araçlar ile aynı derecede resmi süreçler arasındaki parlak ama tutarsız determinizmi sandviçleyin.
Araçları ve süreçleri şekillendirilebilir hale getirirsek bu hikaye daha da ilginç hale gelir. Bu şekilde, eğer Claude bir dizi eylemi çok sık yaparsa bunu otomatikleştiririz. Bir konuda sürekli başarısız olursa doğrulama adımını otomatikleştiririz.
Sistem Güvenliği
Temel olarak, basit, güvenilir deterministik araçlar lehine LLM'nin kendisini otomatikleştirmesine izin verdik.
