Bir Mac Mini'nin rafında, hiç kimse izlemeden görevleri yerine getirdiğini düşünün. Terminal'den bir sürüm numarası okuyor, Safari'ye geçip bir yayın yılını araştırıyor ve sessizce bir hatırlatma oluşturuyor. Bu, her gün tekrarlanan basit üç adımlık bir iş. İşte bu senaryo, MacAgentBench'in odak noktası: sürekli açık, denetimsiz çalışan Mac'ler üzerinde AI ajanlarının performansı. Araştırmacılar, macOS'un AI araştırmalarında genellikle göz ardı edilen bir platform olduğunu belirtiyor. MacAgentBench, bu kör noktayı aydınlatmayı amaçlıyor.
MacAgentBench, 25 macOS uygulamasında 676 görevi kapsıyor. Görevlerin yüzde 60'ı, grafik tıklamalar ve komut satırı işlemlerini birleştiriyor. Her görev, Docker konteyneri içinde küçük bir macOS sanal makinesinde çalışıyor. Puanlama, kural tabanlı bir betikle deterministik olarak yapılıyor, böylece her çalıştırmada aynı sonuç alınıyor. Araştırma, model ve çerçeveyi ayırarak asıl başarının nereden geldiğini ortaya koyuyor.
Çarpıcı sonuçlar: Claude Opus 4.6, OpenClaw adlı bir çerçeveyle yüzde 73,7 başarıya ulaşırken, sadece fare ve klavye ile yüzde 39,2'de kaldı. Ancak asıl sır, OpenClaw'un önceden yazılmış beceri kütüphanesinde. Hazır tariflerle başarı yüzde 89,4'e çıkarken, tarif olmayan görevlerde çerçeve avantajını tamamen kaybetti. Araştırmacılar, başarının çerçeve tasarımından değil, beceri kütüphanesinden kaynaklandığını vurguluyor.
Güvenilirlik testi de ilginç: En iyi kurulum dört denemede yüzde 85,2 başarılı olurken, aynı görevi dört kez doğru yapma oranı yüzde 58,6'ya düştü. Bu, denetimsiz çalışan bir Mac için kritik. Her sabah başarılı olan bir ajan, Salı günü kimse bakmazken hata yapabilir. Ayrıca, dosya taşıma gibi basit işlerde tüm ajanlar başarılıyken, web'den bilgi alma en zorlu görev oldu. macOS, AppleScript, Accessibility API ve Unix komut satırıyla ideal bir platform sunuyor, ancak güvenlik önlemleri şart.
