Büyük dil modelleri (LLM'ler) için kod üretimi en popüler kullanım alanlarından biri haline geldi. Ancak her yapay zeka aracı, her geliştirme görevinde aynı başarıyı göstermiyor. Google, bu yılın başında Android uygulama geliştirmede LLM'lerin performansını değerlendirmek için Android Bench adlı bir test yayınlamıştı. Şimdi ise bu test büyük bir güncelleme alıyor. Güncellenen liderlik tablosuna birçok yeni model eklendi ve Google, kullanımı daha kolay yeni bir çerçeve benimsedi. Geliştiriciler kendi testlerini yapmaya ve Android Bench'in geleceğini şekillendirebilecek geri bildirimler sağlamaya davet ediliyor.
LLM'ler popüler kodlama araçları olsa da her şeyi doğru yapmıyor. Yararlı çıktıları doğrudan 'çöp'ten ayırmak, doğru aracı seçmek anlamına geliyor. Android Bench, 100 Android geliştirme görevinden oluşan bir sette hangi yapay zeka ajanlarının en iyi performansı gösterdiğini ortaya koymayı amaçlıyor. Mart ayında Android Bench'i yayınladıktan sonra Google, maliyet ve verimlilik gibi metriklerin yanı sıra açık ağırlıklı modelleri de ekledi.
Android Bench'in güncel kalmasını sağlamak için Google, teste sekiz yeni model ekledi. Bunlar arasında tüm son ağır toplar yer alıyor: Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus ve Qwen 3.7 Max. Bu modeller, Android uygulama geliştirme görevlerinde kıyasıya rekabet edecek.
Sistem Güvenliği
Android Bench'in ilk sürümünde bile Google'ın yapay zeka modelleri zirvede değildi. OpenAI'nin en yeni LLM'leri hafif bir üstünlüğe sahipti. Google, modelleri genişlettiğinde Gemini için durum daha da kötüleşti. Yeni liderlik tablosunda Gemini 3.1 Pro, GPT 5.4, Claude Sonnet 5 ve Claude Fable 5'in ardından beşinci sırada yer alıyor. Hatta Fable 5, %84,5 doğrulukla testte büyük bir fark yaratarak beklentileri karşılıyor.
Sonuç ve Değerlendirme
Bu sonuçlar, Google'ın kendi yapay zeka modellerinin Android geliştirme alanında rakiplerine kıyasla hâlâ geride olduğunu gösteriyor. Özellikle Claude Fable 5'in açık ara önde olması, Anthropic'in kod üretimi konusundaki uzmanlığını kanıtlıyor. Geliştiriciler için bu, hangi modeli kullanacaklarına karar verirken dikkate almaları gereken önemli bir veri noktası.
Android Bench'in güncellenmesi, yapay zeka destekli kodlama araçlarının hızla geliştiğini ve rekabetin kızıştığını gösteriyor. Google'ın kendi modellerini iyileştirmesi veya yeni stratejiler benimsemesi gerekebilir. Gelecekteki güncellemeler, Gemini'nin Android geliştirme görevlerinde daha rekabetçi hale gelip gelmeyeceğini belirleyecek.
Kaynak: arstechnica.com
