Bir Mac Mini, kimsenin izlemediği bir rafta oturuyor ve birilerinin işlerini hallediyor. Terminal'den bir sürüm numarası okuyor, Safari'ye atlıyor, bir yayın yılı buluyor ve sessizce bir hatırlatıcı oluşturuyor. Bu, bir insanın 90 saniyede homurdanarak yapacağı sıkıcı bir görev. Makine saatlerce çalışıyor, AI ajanı klavyede elleriyle odada kimse yokken iş yapıyor. Bu sürekli açık Mac imajı, birçok AI araştırmasının gözden kaçırdığı bir önerme. Alan, Linux sunucularına ve Windows masaüstülerine odaklanmış durumda. Apple'ın platformu, insanların gece boyunca çalıştırmaya bıraktığı platform, neredeyse hiç anılmıyor. MacAgentBench, bu kör noktayı düzeltmeye çalışıyor ve ilk bulgusu biraz hayal kırıklığı yaratıyor: bu ajanların etkileyici sayıları, büyük ölçüde önceden yazılmış bir tarife dayanıyor.
MacAgentBench, Notes ve Calendar'dan Terminal ve VS Code'a kadar 25 macOS uygulamasında 676 görevi kapsıyor. Görevlerin yüzde 60'a yakını, aynı iş içinde grafik tıklamaları ve komut satırı çalışmasını birleştiriyor; örneğin Terminal'de bir sürüm numarası okumak ve ardından uygulama arayüzü üzerinden bir hatırlatıcı ayarlamak. Her görev, bir Docker konteynerine paketlenmiş küçük bir macOS sanal makinesi içinde çalışıyor. Puanlama deterministik kalıyor; kural tabanlı bir betik, makinenin son durumunu inceleyerek dosya içeriklerini, uygulama verilerini ve sistem ayarlarını kontrol ediyor ve her seferinde aynı şekilde sonuç döndürüyor. Birden fazla uygulamayı kapsayan işler için puan, her biri bir alt hedefi kapsayan kontrol noktalarına bölünüyor, böylece dört adımdan üçünü tamamlayan bir çalışma kısmi puan alıyor.
Tasarım, genellikle birbirine karıştırılan iki şeyi ayırıyor: muhakeme yapan model ve ona eller veren çerçeve. Bir çerçeve, modele bir komut satırı, betik erişimi ve önceden yazılmış beceriler sağlayabilir. Çerçeveyi sabit tutup modelleri değiştirmek, puanın nereden geldiğini gizliyor. Sayılar bu noktayı vurguluyor. OpenClaw adlı bir koşum içinde çalışan Claude Opus 4.6, görevlerin yüzde 73,7'sini ilk denemede çözdü. Aynı model, yalnızca ekran görüntüleri ve fare-klavye kontrolü ile çalıştığında yüzde 39,2'ye ulaştı. Çıplak kurulumda GPT-5.4, yüzde 58,4 ile liderdi. Çerçeve desteği bu sıralamayı tersine çevirdi. Büyük sayıların arkasındaki hile şu: OpenClaw, yaygın işler için hazır tariflerle birlikte geliyor. Bir görev bu tariflerden biriyle eşleştiğinde, OpenClaw ile Claude yüzde 89,4'e ulaştı. Tarifleri kaldırıp aynı işleri düz bir ekran görüntüsü ajanına verdiğinizde, yüzde 55,9'a düştü. Ardından, kimsenin tarif yazmadığı görevler geliyor. Bunlarda koşum avantajını tamamen kaybetti ve çoğu model için düz ajanın altına düştü. Süslü iskele yolda olmaya başladı. Araştırmacılar, 'Bu avantaj öncelikle çerçeve tasarımından değil, beceri kitaplığından kaynaklanıyor' diyor. Başka bir deyişle, şık demo işe yarıyor çünkü birisi o belirli işi önceden çözmüş.
Uzmanların Görüşleri
Bir işi yapabilen bir ajan ile uyurken ona güvenebileceğiniz bir ajan arasında fark var. En iyi kuruluma her görev için dört deneme verildiğinde, en az bir kez yüzde 85,2'sini çözdü. Şimdi aynı görevi dört seferde de doğru yapmasını isteyin, sayı yüzde 58,6'ya düşüyor. Odada kimse yokken rafta uğuldayan bir Mac Mini için bu fark her şeydir. Çoğu sabah işi mükemmel yapan bir ajan, kimse bakmazken bir Salı günü yine de batıracaktır ve gözetimsiz bir makinede sessiz bir hata, sorunu bir kontrol panelinden değil, bir destek biletiyle öğrenmek anlamına gelir. Kontrol noktası puanlaması daha tuhaf bir ayrıntı ortaya çıkarıyor. İki model aynı geçme oranına ulaşabilir ancak farklı miktarlarda iş tamamlayabilir; bu, katı bir geçti-kaldı puanının gömdüğü bir şey. Dosyaları taşımak mı? Hemen hemen her ajan bunu halledebilirdi. Masaüstünden ayrılıp web'den bir bilgi almak, tüm listedeki en zor şey olarak tekrar tekrar karşılaştıkları duvar oldu. macOS, katmanlı bir otomasyon yığını taşır: uygulamaları sürmek için AppleScript, arayüzü okumak için bir Erişilebilirlik API'si ve altta bir Unix komut satırı. Bir ajan, her adım için en hızlı rotayı seçebilir, gerektiğinde bir kabuk komutunu bir tıklamayla karıştırabilir. Bu aralık, sürekli açık dağıtımları Mac donanımına çeken şeyin bir parçasıdır. Kriterin sınırları var: 676 görev, 169 elle oluşturulmuş orijinalden geliyor ve her biri yeniden ifade edilmiş talimatlar ve değiştirilmiş parametrelerle dört varyanta genişletilmiş. Sanal makine, Apple GPU desteği olmadan çalışıyor ve macOS Tahoe 26 sürümüne sabitlenmiş, bu nedenle uygulama davranışı ve betik arayüzleri bir sürüm değişikliğinde gözden geçirilmeli. Güvenlik çerçevesi gerçekçi kalıyor: yazarlar, bu ajanların 'kullanıcı sistemlerinde uygun korumalar olmadan dağıtılırsa, yetkisiz dosya erişimi veya kimlik bilgisi toplama gibi hassas işlemleri otomatikleştirmek için kötüye kullanılabileceğini' yazıyor. Üretim kullanımı için önerileri: 'yalnızca açık kullanıcı onayı, izin sınırları ve denetim günlüğü ile dağıtın'. Gerçek iş için ajanları değerlendiren herkes, tüm bunlardan birkaç alışkanlık edinebilir: kendi görevlerinizde test edin, satıcının beceri kitaplığının içinde ne olduğunu sorun, bir çalışmanın ne sıklıkta başarılı olduğunu yargılayın ve bir ajan canlı bir sisteme dokunmadan önce her şeyi kum havuzuna alın.
