Apple, yapay zeka modellerini sıkıştırarak doğrudan telefonlarda çalıştırmayı mümkün kılan PrismML adlı girişimle erken aşamada görüşmelere başladı. CNBC'ye konuşan PrismML CEO'su Babak Hassibi, Apple ve diğer şirketlerin teknolojilerini değerlendirdiğini belirtti. Görüşmelerin çok erken aşamada olduğunu ve nereye varacağının henüz belli olmadığını söyleyen Hassibi, 'işlerin iyi gittiğini' ifade etti. Apple ise konuyla ilgili yorum yapmadı.
Khosla Ventures destekli PrismML, Kaliforniya Teknoloji Enstitüsü'nden (Caltech) ayrılan bir girişim. Şirket, Caltech'e ait patentleri münhasır lisansla kullanıyor. Mart ayında 16,25 milyon dolarlık tohum yatırımı alan girişim, Salı günü Bonsai 27B adlı sıkıştırılmış modelini piyasaya sürdü. Bu model, Alibaba'nın açık kaynaklı Qwen modelinin sıkıştırılmış bir versiyonu ve boyutu yaklaşık 54 GB'tan 3,9 GB'a kadar düşürüldü.
PrismML'nin sıkıştırma yöntemi, modelin iç değerlerini 16 bitten yalnızca bir veya üç olası değere indirgemeye dayanıyor. Şirket, bu yöntemin bellek kullanımını 10-15 kat azalttığını, yanıt hızını 6-8 kat artırdığını ve enerji tüketimini 3-6 kat düşürdüğünü iddia ediyor. Ancak bu kazanımların bir bedeli var: Hassibi, sıkıştırılmış modellerin performansının yüzde birkaç puan düştüğünü, özellikle olgusal hatırlamanın zayıfladığını, ardından akıl yürütme, matematik ve kodlama gibi becerilerin etkilendiğini belirtti. PrismML, üçlü sürümün tam performansın %95'ini, 1 bitlik sürümün ise %90'ını koruduğunu söylüyor.
Sonuç ve Değerlendirme
Zamanlama tesadüf değil. PrismML modelini, Apple'ın uzun süredir ertelenen Siri yenilemesini içeren iOS 27'nin halka açık betasını yayınlamasından bir gün sonra çıkardı. Apple, Siri'yi OpenAI ve Anthropic'in asistanlarıyla rekabet edebilir hale getirmeye çalışıyor. Daha fazla yapay zekayı cihazda çalıştırmak bu hedefe yardımcı olacak. Apple halihazırda karmaşık istekleri bulut modellerine gönderiyor. Yerel işleme, gecikmeyi azaltacak, bulut maliyetlerini düşürecek ve şirketin gizlilik vaadini destekleyecek. Ayrıca bazı özellikler çevrimdışı da çalışabilecek.
Nasıl Önlem Alınmalı?
Maliyet boyutu da önemli. Morgan Stanley, Apple'ın bellek maliyetlerinin 2027 mali yılında keskin bir şekilde artabileceğini tahmin ediyor. Banka, şirketin marjları korumak için iPhone fiyatlarını artıracağını öngörüyor. Daha küçük modeller, Apple'ın ek bellek ödemeden yetenekli yapay zekayı sınırlı donanıma sığdırmasına yardımcı oluyor.
Analistler temkinli olunması gerektiğini vurguluyor. Counterpoint Research'ten Tarun Pathak, gerçek testin binlerce cihazda milyonlarca sorgu olacağını söyledi. IDC'den Phil Solis ise en büyük sorunun güç tüketimi olduğunu, sık çalışan bir modelin pili tüketebileceğini belirtti. D.A. Davidson analisti Gil Luria, modellerin küçültülmesinin işlemci ihtiyacını ortadan kaldırmayacağını, sadece bazı işlemleri veri merkezlerinden telefonlara kaydıracağını ifade etti. Hassibi, Google'ın açık kaynaklı Gemma modelinin sırada olduğunu, ardından daha büyük modellerin geleceğini söyledi: 'Zekanın yerel ve hızlı çalışması çok önemli.'
Kaynak: thenextweb.com
