Büyük dil modelleri (LLM) için kod üretimi, en popüler kullanım alanlarından biri haline geldi. Ancak her yapay zeka aracı, tüm geliştirme görevlerinde eşit başarılı değil. Google, bu yılın başında LLM'lerin Android uygulama geliştirme performansını değerlendirmek için Android Bench adlı bir kriter oluşturdu. Şimdi ise bu kriter büyük bir güncelleme alıyor. Güncellemeyle birlikte liderlik tablosuna bir dizi yeni model eklendi ve Google, kullanımı daha kolay olması beklenen yeni bir çerçeve benimsedi. Geliştiriciler, kendi testlerini yapmaya ve Android Bench'in geleceğini şekillendirebilecek geri bildirimler sağlamaya davet ediliyor.
LLM'ler popüler kodlama araçları olsa da her şeyi doğru yapamıyorlar. Kullanışlı çıktıları tamamen işe yaramaz sonuçlardan ayırmak, doğru aracı seçmek anlamına geliyor. Android Bench, hangi yapay zeka ajanlarının 100 Android geliştirme görevinden oluşan bir sette en iyi performansı gösterdiğini ortaya koymayı hedefliyor. Google, Android Bench'i Mart ayında kullanıma sunduktan sonra maliyet ve verimlilik gibi metriklerin yanı sıra açık ağırlıklı modelleri de ekledi.
Android Bench'in güncel kalmasını sağlamak için Google, teste sekiz yeni model ekledi. Bunlar arasında tüm yeni ağır toplar yer alıyor: Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus ve Qwen 3.7 Max. Bu modeller, Android geliştirme görevlerinde kıyasıya rekabet edecek.
Önemli Gelişmeler
Android Bench'in ilk sürümünde bile Google'ın yapay zeka modelleri zirvede değildi; OpenAI'nin en yeni LLM'leri hafif bir üstünlüğe sahipti. Google'ın modelleri genişletmesiyle birlikte Gemini için durum daha da kötüleşti. Yeni liderlik tablosunda Gemini 3.1 Pro, GPT 5.4, Claude Sonnet 5 ve Claude Fable 5'in ardından beşinci sırada yer alıyor. Hatta Fable 5, %84.5 doğruluk oranıyla açık ara önde ve beklentileri karşılıyor.
Bu sonuçlar, Google'ın kendi modeli Gemini'nin rakipleri karşısında hâlâ geride olduğunu gösteriyor. Özellikle Claude Fable 5'in yüksek doğruluğu, Android geliştirme alanında yapay zeka modelleri arasındaki rekabeti kızıştıracak gibi görünüyor. Geliştiriciler, ihtiyaçlarına en uygun modeli seçerken bu kriter sonuçlarını dikkate alabilir.
Gelecekte Ne Bekleniyor?
Android Bench güncellemesi, yapay zeka destekli kodlama araçlarının gelişimini takip etmek ve doğru aracı seçmek için önemli bir kaynak sunuyor. Google, kriteri topluluk geri bildirimleriyle şekillendirmeye devam edecek. Geliştiricilerin kendi testlerini yaparak katkıda bulunması, Android Bench'in daha da kapsamlı ve kullanışlı hale gelmesini sağlayacak.
Kaynak: arstechnica.com
