Kimi K3: 2.8 Trilyon Parametreli Dev Model ve Pelikan Benchmark'ından Çıkarılacak Dersler Siber Güvenlik

Kimi K3: 2.8 Trilyon Parametreli Dev Model ve Pelikan Benchmark'ından Çıkarılacak Dersler

Moonshot AI'nin 2.8 trilyon parametreli Kimi K3 modeli, pelikan benchmark'ı ile test edildi. İşte bu testin modelleri karşılaştırmada ne kadar işe yar

Çin merkezli yapay zeka laboratuvarı Moonshot AI, bugün yaptığı duyuruyla en yeni modeli Kimi K3'ü tanıttı. Şirket, modeli 'şimdiye kadarki en yetenekli modelleri' olarak nitelendirirken, 2.8 trilyon parametreye sahip olduğunu belirtiyor. Kimi K3, şu anda web sitesi ve API üzerinden kullanıma sunulmuş durumda, ancak açık ağırlıklarının 27 Temmuz 2026'ya kadar yayınlanması planlanıyor. Moonshot, bu modeli ilk 'açık 3T sınıfı model' olarak adlandırıyor ve DeepSeek'in 1.6T v4 Pro modelinden tacı alıyor. Kendi bildirdikleri karşılaştırmalara göre K3, çoğunlukla Claude Opus 4.8 max ve GPT-5.5 high'ı geride bırakırken, Claude Fable 5 ve GPT-5.6 Sol'a karşı kaybediyor.

Artificial Analysis raporuna göre, Kimi K3'ün uzun vadeli bilgi çalışması değerlendirmesinde 1547 Elo puanına ulaştığı ve Kimi K2.6'dan 732 puan daha yüksek olduğu belirtiliyor. Bu puan, yalnızca Claude Fable 5'in gerisinde kalıyor. Görev başına maliyet ($0.94) GPT-5.6 Sol ($1.04) ile benzerken, Opus 4.8'in ($1.80) yaklaşık yarısı kadar. Açık ağırlıklı rakiplerinden daha pahalı olan model, Artificial Analysis Intelligence Index'te token kullanımında K2.6'ya göre %21 daha az çıktı token'ı kullanarak dikkat çekiyor. Ayrıca Arena.ai'nin Frontend Code arenasında Claude Fable 5'i bile geçerek lider konuma yerleşmiş durumda.

Kimi K3'ün fiyatlandırması da dikkat çekici: giriş token'ları için milyonda 3 dolar, çıkış token'ları için milyonda 15 dolar. Bu fiyatlandırma, Anthropic'in Claude Sonnet serisiyle aynı seviyede ve bugüne kadar bir Çin yapay zeka laboratuvarı tarafından yayınlanan en pahalı model olma özelliğini taşıyor. Önceki modellerine göre önemli bir artış söz konusu; örneğin Kimi K2.6'nın fiyatı $0.95/$4 seviyesindeydi. 2.8 trilyon parametre, 1 trilyon parametreli önceki modelin iki katından fazla.

Sistem Güvenliği

Peki Kimi K3 pelikan testinde nasıl performans gösterdi? OpenRouter üzerinden llm-openrouter eklentisi ile bir bisiklete binen pelikan SVG'si oluşturuldu. Sonuçta 95 giriş token'ı ve 16,658 çıkış token'ı (13,241'i muhakeme token'ı) kullanıldı ve toplam maliyet 25 sent oldu. Model ayrıca görsel girdi de kabul ediyor; oluşturulan SVG'nin alt metnini istediğimizde ise 0,6 sent karşılığında oldukça başarılı bir açıklama üretti.

Uzmanların Görüşleri

Pelikan benchmark'ı 21 aydır kullanılıyor ve başlangıçta modelleri karşılaştırmanın ne kadar zor olduğuna dair bir şaka olarak ortaya çıkmıştı. Ancak ilk yıl boyunca modellerin gerçek kalitesiyle şaşırtıcı bir korelasyon gösterdi. Ne yazık ki bu bağlantı artık büyük ölçüde kopmuş durumda. GPT-5.6 ve Claude Fable 5 pelikanları, GLM-5.2 tarafından geçilmiş durumda. Pelikan testinin en büyük sınırlaması, günümüz modelleri için en önemli olan ajanik araç çağırma ve uzun konuşmalarda güvenilir araç kullanımı gibi yetenekleri hiç test etmemesi.

Gelecekte Ne Bekleniyor?

Tüm bu eleştirilere rağmen, pelikan testini kendim çalıştırmaktan hala değer elde ediyorum. Öncelikle, modeli gerçekten denemek için bir zorlama işlevi görüyor. Bir pelikan gösteriyorsam, o model üzerinden bir komut çalıştırabilmişim demektir. Ayrıca, tek bir 'Bir bisiklete binen pelikan SVG'si oluştur' komutu bile ilginç model özelliklerini ortaya çıkarabiliyor. Örneğin Kimi K3'ün yalnızca 'max' seviyesinde muhakeme çabası sunması, 13,241 muhakeme token'ı tüketmesi ve 25 sent gibi yüksek bir maliyetle pelikan üretmesi, modelin aşırı hesaplama yaptığını gösteriyor. Ayrıca, 'hi' yazdığımda 86 token sayılması, muhtemelen 85 token'lık gizli bir sistem komutunun varlığını işaret ediyor.

Pelikan testinden çıkarılacak en önemli ders, modelleri karşılaştırırken yalnızca bu tür yaratıcı komutlara güvenmemek gerektiği. Gerçek dünya uygulamaları için ajanik yetenekler, uzun bağlam yönetimi ve maliyet-performans dengesi gibi faktörler çok daha kritik. Kimi K3 gibi devasa modeller etkileyici olsa da, pratik kullanımda pahalı olabilir. Yapay zeka modellerini değerlendirirken, birden fazla benchmark'ı ve gerçek kullanım senaryolarını dikkate almak en sağlıklı yaklaşım olacaktır.

Nasıl Önlem Alınmalı?

Sonuç olarak, Kimi K3 teknik olarak etkileyici bir model olsa da, yüksek fiyatı ve sınırlı muhakeme seviyesi seçenekleri nedeniyle her kullanıcı için ideal olmayabilir. Pelikan testi, modellerin yaratıcı yönlerini ortaya koymak için eğlenceli bir araç olsa da, ciddi karşılaştırmalar için yetersiz kalıyor. Yapay zeka modelleri seçerken, ihtiyaçlarınıza en uygun olanı belirlemek için kapsamlı bir değerlendirme yapmanızı öneririm.

Kaynak: simonwillison.net

Paylaş: