Databricks, yazılım geliştirme süreçlerini hızla yapay zeka ile dönüştürüyor. Şirket, milyonlarca satırlık kod tabanında gerçek mühendislik görevlerini kullanarak kodlama yapay zekası araçlarını karşılaştırdı. Python, Go, TypeScript ve Scala gibi popüler dilleri kapsayan bu benchmark, hem maliyet hem de performans açısından önemli içgörüler sağladı. Amaç, hangi modelin hangi görev türünde en iyi sonucu verdiğini belirlemekti. Sonuçlar, yapay zeka kodlama araçlarının üç ana yetenek seviyesinde kümelenebileceğini gösterdi: yüksek, orta ve düşük zeka seviyeleri. Her seviyenin kendine özgü avantajları ve maliyetleri var.
Yüksek zeka seviyesindeki modeller (örneğin OpenAI ve Anthropic'in en gelişmiş modelleri) her türlü karmaşık görevi çözmede son derece başarılı, ancak maliyetleri yüksek. Orta ve düşük zeka seviyesindeki modeller ise günlük yaygın görevlerde oldukça etkili ve çok daha uygun fiyatlı. Databricks mühendisleri, karmaşıklığı düşük görevler için (örneğin bayrak değiştirme veya yapılandırma güncelleme) en pahalı modelleri kullanmanın gereksiz olduğunu fark etti. Bu nedenle, Haiku ve GPT 5.4 Mini gibi daha uygun fiyatlı modellere yönelmeye karar verdiler.
Açık kaynak modellerin kodlama yetenekleri de dikkat çekici. Özellikle GLM 5.2, üst yetenek seviyesinde Opus 4.8 ile istatistiksel olarak aynı kalitede performans gösterirken, görev başına maliyeti 1,28 dolar ile Opus'un 1,94 dolarına kıyasla çok daha düşük. Bu sonuç, Databricks'in dahili geliştiricilerinden gelen olumlu geri bildirimlerle de örtüşüyor. Şirket, GLM 5.2'yi günlük kodlama iş akışlarında kullanılmak üzere dağıtmaya hazırlanıyor.
Önemli Gelişmeler
Token başına maliyet, bir modelin gerçek maliyetini tahmin etmek için yanıltıcı olabiliyor. Databricks'in benchmark'ı, token maliyetinin görev maliyetini doğrudan yansıtmadığını ortaya koydu. Örneğin, Sonnet 5 token başına Opus 4.8'den yaklaşık 1,7 kat daha ucuz olmasına rağmen, görev başına maliyeti 2,09 dolar ile Opus'un 1,94 dolarından daha yüksekti. Bunun nedeni, Sonnet 5'in aynı görevi tamamlamak için 1,9 kat daha fazla token tüketmesiydi. Bu durum, yalnızca token fiyatına odaklanmanın yanıltıcı olabileceğini ve görev düzeyinde benchmark'ın önemini vurguluyor.
Modelin kullanıldığı altyapı (harness) da maliyet ve kaliteyi önemli ölçüde etkiliyor. Aynı modeli farklı altyapılarla (örneğin Claude Code/Codex ile Pi) test eden Databricks, görev başına maliyetin bazı durumlarda iki kattan fazla değiştiğini, kalitenin ise aynı kaldığını gözlemledi. Pi altyapısı, her adımda modele gönderilen bağlamı daha verimli yöneterek daha az token tüketiyor ve görevleri daha az sayıda çalıştırmada tamamlıyor. Bu esneklik, Databricks'in Omnigent platformuna yatırım yapmasının nedenlerinden biri: model ve altyapı değişikliklerini sorunsuz hale getirmek.
Gelecekte Ne Bekleniyor?
Databricks, neden kendi benchmark'ını oluşturdu? Çünkü SWE-Bench gibi açık benchmark'lar, görevlerin kamuya açık olması nedeniyle zamanla eğitim verilerine sızabiliyor ve sonuçların güvenilirliğini azaltıyor. Ayrıca, Databricks'in 10'dan fazla dil ve çok sayıda hizmet içeren kod tabanı için bu benchmark'lar temsili olmuyor. Kendi pull request'lerine dayalı bir benchmark oluşturarak, optimizasyonların geliştiricilere zarar vermeyeceğinden emin olmayı hedefliyorlar.
Benchmark'ı oluşturmak için Databricks, Unity AI Gateway'i kullanarak tüm kodlama etkileşimlerini kaydetti ve mühendislerin kodlama yapay zekası araçlarıyla gerçekleştirdiği görevlerin karmaşıklığını analiz etti. Bu veriler, hangi model ve altyapı kombinasyonlarının en verimli olduğunu belirlemek için kullanıldı. Sonuçlar, yapay zeka destekli kodlama araçlarının seçiminde maliyet, kalite ve altyapı arasındaki karmaşık dengeyi ortaya koyuyor. Databricks, bu içgörülerle mühendislik ekibinin verimliliğini artırmayı başardığını belirtiyor.
Kaynak: databricks.com
