Apple, iOS 26 ve macOS 26 ile birlikte SFSpeechRecognizer'ın yerini alan yeni bir ses tanıma API'si olan SpeechAnalyzer ve SpeechTranscriber'ı tanıttı. Ancak şirket, bu yeni API'lerin doğruluk oranlarına dair herhangi bir veri yayınlamadı. Bu durum, geliştiricilerin eski API'den geçiş yapıp yapmama kararını ve Apple'ın yerleşik tanıma sistemini Whisper gibi alternatiflerle karşılaştırmasını zorlaştırıyordu. Neyse ki, Inscribe adlı özel bir cihaz içi yapay zeka çalışma alanı, her iki Apple motorunu ve üç Whisper modelini aynı kod tabanı üzerinde test etme fırsatı sundu.
Yapılan testlerde, Apple'ın yeni SpeechAnalyzer API'si, SFSpeechRecognizer'a kıyasla temiz konuşmada %2.12'ye karşı %9.02 ve gürültülü konuşmada %4.56'ya karşı %16.25 kelime hatası oranı (WER) ile belirgin bir iyileşme gösterdi. Bu, eski API'nin neredeyse dört kat daha fazla hata yaptığı anlamına geliyor. Dolayısıyla, sesli komutlardan daha uzun süreli transkripsiyonlar için SFSpeechRecognizer kullanan uygulamaların geçiş yapması, doğruluk açısından büyük bir kazanç sağlayacak.
Daha da şaşırtıcı olan, Apple'ın yeni motorunun, Whisper Small gibi daha büyük bir modeli hem temiz hem de gürültülü konuşma testlerinde rahatça geçmesiydi. SpeechAnalyzer, Whisper Small'dan yaklaşık üç kat daha hızlı çalışırken, test-clean'de %2.12'ye karşı %3.74 ve test-other'da %4.56'ya karşı %7.95 WER elde etti. Bu, İngilizce transkripsiyon için Apple donanımında en iyi cihaz içi seçeneğin artık Apple'ın kendi motoru olduğunu gösteriyor.
Sonuç ve Değerlendirme
Whisper'ın hala iki önemli avantajı bulunuyor: çok daha fazla dili desteklemesi (SpeechTranscriber yaklaşık 30 yerel ayarı desteklerken) ve yalnızca Apple platformlarına bağımlı olmaması. Ancak, güncel bir iPhone veya Mac'te İngilizce transkripsiyon için Whisper'ın otomatik olarak daha doğru olduğu günler sona erdi. Bu sonuçla birlikte Inscribe, desteklenen dillerde SpeechAnalyzer'ı, diğer dillerde ise Whisper'ı tercih edecek şekilde güncellendi.
Sistem Güvenliği
Testlerde tüm motorlar gerçek zamanın oldukça üzerinde hızlarda çalıştı: M2 Pro'da yaklaşık 12x ila 40x arasında değişen hızlarla, bir saatlik ses dosyası cihaz üzerinde yaklaşık 1.5 ila 5 dakikada transkript edildi. SpeechAnalyzer, Whisper Small'dan saniye başına yaklaşık 3 kat daha hızlıydı ve aynı zamanda daha doğruydu. Kesin hız karşılaştırmaları için ayrılmış bir test ortamında tekrarlanan çalışmalar yapılacak.
Bu karşılaştırma, şeffaflık ve güvenilirlik açısından önemli adımlar içeriyor. Whisper modelleri, OpenAI'nin kendi yayınladığı WER değerleriyle neredeyse birebir örtüşen sonuçlar verdi; bu da test metodolojisinin doğruluğunu teyit ediyor. Ayrıca, tüm ham transkriptler ve her bir cümle için WER verileri herkese açık olarak sunuldu. Bu sayede, bağımsız araştırmacılar da sonuçları doğrulayabiliyor. Kısacası, Apple'ın yeni SpeechAnalyzer API'si, cihaz içi ses tanımada yeni bir standart belirliyor.
Kaynak: get-inscribe.com
