Anthropic'in Claude Mythos'u, gerçek dünyadaki Google Chrome güvenlik açığı istismarlarında OpenAI'nin GPT5.5'inden daha iyi performans gösterdi; bu, bulunan gerçek dünyadaki güvenlik açıklarından yararlanmak için sınır yapay zeka modellerinin performansını test etmek üzere tasarlanmış yeni bir kıyaslamadır.
Infosecurity Europe 2026 sırasında Bugcrowd, siber güvenlik firmasının Carnegie Mellon Üniversitesi'ndeki uzmanlar ve Chrome'un önde gelen güvenlik açığı araştırmacılarıyla işbirliği içinde Mayıs 2026'da başlattığı bağımsız, dereceli bir kıyaslama olan ExploitBench'in ilk bulgularını sundu.
Bugcrowd'un yapay zeka ve bilim sorumlusu David Brumley, kıyaslamayı "Yapay zeka modellerinin bir güvenlik açığıyla gerçekte neler yapabileceğini ölçen, yalnızca onu tanımlamakla kalmayıp aynı zamanda adım adım yararlanmayı ölçen ilk bağımsız kıyaslama" olarak tanımladı. Antropik bununla ilk ilgilenenler arasındaydı.
İlk testin, Mythos'un başa baş çalışmalarda GPT‑5.5'ten önemli ölçüde daha yüksek bir kullanım performansı elde etmesini sağladığını ve yapay zeka modellerinin elit insan araştırmacılarla aradaki farkı nasıl kapattığının altını çizdiğini söyledi.
Önemli Gelişmeler
Daha önceki ikili testlerden farklı olarak ExploitBench, yalnızca bir çökmeyi kaydetmek yerine aşamalı kullanım sonuçları aracılığıyla ilerlemeyi puanlıyor. Karşılaştırma, Google Chrome, Microsoft Edge, Node.js ve Cloudflare Workers'a güç sağlayan JavaScript/WebAssembly motoru olan savunmasız bir V8 yapısına karşı rastgele kod yürütmeye kadar beş yetenek düzeyini değerlendirir.
Gösteride tartışılan çalışmalarda, Anthropic'in Mythos'u ara sıra insani ipuçları veya "dürtmeler" ile 16 üzerinden ortalama 9,90 puan aldı ve 41 güvenlik açığının 21'inde en yüksek seviyeye ulaştı. OpenAI'nin GPT‑5.5'i ortalama 5,51 puan aldı ve yalnızca iki durumda en üst seviyeye ulaştı.
Brumley, "Örneğin, Mythos, Chrome'daki bir günlük bir güvenlik açığından yaklaşık %50 oranında yararlanabiliyor. Bu, birinci sınıf bir etkinlik. Eğer buna para yatırırsak, Google, daha önce bilinen bir güvenlik açığı olmayan böyle bir güvenlik açığı için 10.000 dolara kadar ödül verebilir" dedi.
Sonuç ve Değerlendirme
"Anthropic'in modeli bunları yayıyor ve aslında üst düzey bilgisayar korsanlarının bile gözden kaçırdığı kusurlardan yararlanmak için çözümler buluyor; bu oldukça etkileyici."
Brumley, GPT5.5'in performanslarının şu anda emsallerine göre biraz daha düşük olmasına rağmen OpenAI modelinin daha geniş kullanılabilirliğinin, daha fazla insanın onu açıklardan yararlanmak için kullanması için fırsatlar açtığını ekledi.
Nasıl Önlem Alınmalı?
Yapay Zeka Modelleri Güvenilir Kullanıma Yaklaşıyor, Ancak Uzmanlar Dikkatli Olmanızı İstiyor
Frontier büyük dil modelleri (LLM'ler), güvenlik açığı keşfini geniş ölçekte hızlandırabileceklerini zaten göstermişti, ancak bu keşiflerin güvenilir, eyleme geçirilebilir istismarlara zincirlenip bağlanamayacağı, ExploitBench'e kadar açık bir soru olarak kalmıştı.
Uzmanların Görüşleri
Infosecurity'e konuşan Brumley, "Sadece çarpışmayı ya da hiç çökmemeyi değil, aynı zamanda sömürü aşamalarını da ölçüyoruz" dedi ve yeni kıyaslamanın yüzeysel sinyaller yerine gerçek yararlanma kapasitesini değerlendirmek için neden önemli olduğunu açıkladı.
Bu ayrım kritik önem taşıyor çünkü sıfır gün kusurlarından güvenilir bir şekilde yararlanabilen modeller, tehdit aktörlerinin güvenlik açıklarını silah haline getirme engelini azaltıyor.
Sistem Güvenliği
Bugcrowd CEO'su Dave Gerry ayrıca otomasyon ve yapay zekanın halihazırda saldırganların iş akışlarına entegre edildiği ve keşfedilen kusurların aktif istismarlara dönüştürülme hızının arttığı konusunda uyardı.
Bununla birlikte ExploitBench, yapay zekanın güvenlik açıklarından yararlanma olanaklarını gösteren ilk deneylerden biri olsa da Brumley, ekibinin ilk bulgularının yalnızca belirli bir güvenlik açığı türünü yansıttığı ve sonuçların tahmin edilmemesi gerektiği konusunda da uyardı.
"Burada hiçbir şeyi abartmak istemiyorum. Çok karmaşık bir hedef uygulamayı ölçtük. Chrome yüz binlerce kod satırından oluşuyor ve yıllardır denetleniyor. Bir açıktan yararlanma olanağı bulmanın ne kadar değerli olduğunu biliyoruz. Bu, bir web uygulamasındaki bir güvenlik açığından yararlanmaya çalışırken aynı sonuçları elde edeceğimiz anlamına gelmiyor."
Infosecurity'ye konuşan VulnCheck'in ürün mühendisliği başkan yardımcısı Michael Price, yapay zeka modelleri gelişirken, henüz geniş ölçekte güvenilir bir şekilde kullanım gerçekleştirme kapasitesine sahip olmadıklarını söyledi.
Detaylar ve Etkileri
Birleşik Krallık Yapay Zeka Güvenlik Enstitüsü tarafından Mythos'un yetenekleri hakkında yakın zamanda hazırlanan bir rapora atıfta bulunan Price, en önemli ilerlemenin modellerin planlama yeteneğinde (adım adım planlar üretme, gerektiğinde yeniden planlama ve çok aşamalı eylemleri yürütme kapasiteleri) olduğunu ve bunun da tanım gereği onları saldırı kampanyaları için daha kullanışlı hale getirdiğini açıkladı.
Bu gelişmenin hücum potansiyelini artırdığını ancak bunu ihtiyatlı bir şekilde yumuşattığını belirtti. "Daha iyiye gidiyorlar ama aslında hâlâ o kadar da iyi değiller" dedi. söz konusu.
Gelecekte Ne Bekleniyor?
Price, "Onların her ay veya her çeyrekte %1 oranında daha iyi olmalarını ve muhtemelen iki veya dört yıl içinde gerçekten iyi olmalarını bekliyorum" diye ekledi.
Yapay Zeka Odaklı İyileştirmenin Geniş Ölçekte Geliştirilmesi
Hem Brumley hem de Gerry, model kapasitesini hem ölçmek hem de geliştirmek için ExploitBench'in Bugcrowd'un takviyeli öğrenme (RL) ortamlarıyla birlikte piyasaya sürüldüğünü vurguladı.
Brumley, "Modellerin gerçek kullanım görevlerinde bulunduğu durumu motive etmek için ExploitBench'i kullanıma sunduk" diye açıkladı.
Gerry, kıyaslama ve eğitim ortamlarının tamamlayıcı olduğunu ekledi: biri ölçümü teşvik ederken diğeri, sektör modeli ortaklarıyla hedeflenen RL eğitimi yoluyla iyileştirmeyi teşvik ediyor.
Son olarak şirket liderleri savunmacıları hücum hızını otomatik iyileştirme ve önceliklendirme ile eşleştirmeye çağırdı.
Teknik Analiz
Gerry, Infosecurity'e, küçülen "sıfır gün saati"nin ve yapay zeka destekli keşiflerdeki artışın, kuruluşların geniş ölçekte yapay zeka odaklı iyileştirmeler geliştirmesi gerektiği anlamına geldiğini söyledi.
Düzeltmelerin bilet kuyruklarından neredeyse gerçek zamanlı iş akışlarına geçmesi için iyileştirme kanallarının yeniden düşünülmesi gerektiğini söyledi ve "daha fazla hatayı daha hızlı bulmak, kötüye kullanıma olanak tanıyanlara otomatik olarak öncelik verip bunlara göre işlem yapmadığınız sürece yalnızca gürültüyü artırır" dedi.
Brumley de bu aciliyeti yineleyerek, savunmacıların, rakiplerin bunları istismar edebilmesi için en önemli güvenlik açıklarını önceliklendirmek ve düzeltmek için bağlamsal zekaya ihtiyaç duyduğunu söyledi.
Kendisi, bunun yalnızca kusurları bulmak için değil aynı zamanda önerilerde bulunmak ve güvenli olduğu durumlarda geniş ölçekte düzeltmeleri başlatmak üzere eğitilmiş modellere ihtiyaç duyduğunu, böylece insan geliştiricilerin en yüksek riskli işe odaklanabileceğini de sözlerine ekledi.
"Önümüzdeki aylarda, insanlara belirli güvenlik açıklarının onları nasıl etkilediğine dair istihbarat sağlamaya yardımcı olmaya odaklanan araçlarla bu konuda duyurularımız olacak" dedi.
Şimdi okuyun: Yapay Zeka Onlarca Yıllık Kusurları Ortaya Çıkarırken Yama Sorumluluğu Devam Ediyor
