Infosecurity Europe 2026'da Bugcrowd, ExploitBench adlı yeni bir karşılaştırma ölçütünün ilk sonuçlarını açıkladı. Carnegie Mellon Üniversitesi ve Chrome güvenlik açığı araştırmacılarıyla işbirliğiyle geliştirilen bu ölçüt, yapay zeka modellerinin gerçek dünyadaki güvenlik açıklarını tespit etmekle kalmayıp adım adım nasıl istismar edebildiğini ölçüyor. İlk testlerde, Anthropic'in Claude Mythos modeli, OpenAI'nin GPT5.5 modeline kıyasla belirgin şekilde daha yüksek bir istismar performansı sergiledi. Bugcrowd'un baş yapay zeka ve bilim sorumlusu David Brumley, Mythos'un Chrome'daki bir günlük güvenlik açıklarını yaklaşık %50 oranında istismar edebildiğini ve bu seviyedeki bir başarının ödül olarak Google'dan 10.000 dolara kadar değer görebileceğini belirtti.
ExploitBench, daha önceki ikili testlerden farklı olarak, istismar aşamalarını puanlayarak ilerliyor. Ölçüt, rastgele kod çalıştırmaya kadar beş farklı yetenek seviyesini değerlendiriyor. Mythos, 41 güvenlik açığından 21'inde en yüksek seviyeye ulaşarak ortalama 9.90 puan alırken, GPT5.5 sadece iki vakada en yüksek seviyeye ulaşabildi ve ortalama 5.51 puan aldı. Brumley, Mythos'un en üst düzey hackerların bile gözden kaçırdığı açıklar için çözümler bulduğunu ve bu durumun oldukça etkileyici olduğunu vurguladı.
Ancak uzmanlar, yapay zeka modellerinin güvenlik açıklarını istismar etme yeteneklerinin henüz tam olarak güvenilir olmadığı konusunda uyarıyor. VulnCheck'ten Michael Price, modellerin planlama yeteneklerinin geliştiğini ancak henüz büyük ölçekte güvenilir bir şekilde istismar gerçekleştiremediklerini belirtti. Price, her ay veya çeyrekte %1'lik bir iyileşme beklediğini ve iki ila dört yıl içinde modellerin gerçekten iyi hale gelebileceğini ekledi.
Bugcrowd CEO'su Dave Gerry, yapay zeka destekli keşiflerin artmasıyla birlikte savunmacıların da otomatik düzeltme ve önceliklendirme yapması gerektiğini vurguladı. ExploitBench'in yanı sıra Bugcrowd, modellerin yeteneklerini geliştirmek için pekiştirmeli öğrenme ortamları da yayınladı. Gerry, daha hızlı hata bulmanın, otomatik olarak önceliklendirilip eyleme dönüştürülmediği sürece sadece gürültüyü artırdığını belirtti. Brumley ise savunmacıların, düşmanlar istismar etmeden önce en kritik güvenlik açıklarını önceliklendirip düzeltebilmek için bağlamsal zekaya ihtiyaç duyduğunu ekledi.
