Infosecurity Europe 2026'da Bugcrowd tarafından sunulan ExploitBench kıyaslama testi, yapay zeka modellerinin gerçek dünyadaki güvenlik açıklarını sömürme yeteneklerini ölçmek için geliştirildi. Testin ilk sonuçları, Anthropic'in Claude Mythos modelinin, OpenAI'in GPT-5.5 modeline kıyasla Google Chrome zafiyetlerini sömürmede önemli ölçüde daha başarılı olduğunu gösterdi. Bu durum, yapay zeka modellerinin siber saldırı yeteneklerinde elit insan araştırmacılarla arasındaki farkı hızla kapattığını ortaya koyuyor.
ExploitBench, daha önceki ikili (başarılı/başarısız) testlerden farklı olarak, sömürü sürecini aşamalı olarak değerlendiriyor. Test, Chrome'un JavaScript/WebAssembly motoru V8 üzerinde beş farklı yeterlilik seviyesi belirliyor ve en üst seviye olan rastgele kod çalıştırmaya kadar olan başarıyı puanlıyor. Bu yaklaşım, modellerin sadece çökme oluşturup oluşturamadığını değil, gerçek anlamda bir zafiyeti sömürme aşamalarını ne kadar ilerletebildiğini ölçüyor.
İlk test sonuçlarına göre, Anthropic'in Claude Mythos modeli 41 zafiyet üzerinden ortalama 16 üzerinden 9.90 puan alırken, GPT-5.5 yalnızca 5.51 puan alabildi. Mythos, 41 zafiyetin 21'inde en üst seviyeye ulaşırken, GPT-5.5 sadece iki vakada bu seviyeye çıkabildi. Bugcrowd'un baş AI ve Bilim Sorumlusu David Brumley, Mythos'un Chrome'da daha önce sömürüsü bilinmeyen bir güncel zafiyeti yaklaşık %50 oranında sömürebildiğini belirtti. Brumley'e göre bu, Google'ın 10.000 dolara kadar ödül verdiği bir başarı seviyesi.
Önemli Gelişmeler
Ancak uzmanlar, bu sonuçların abartılmaması gerektiği konusunda uyarıyor. Brumley, testin yalnızca çok karmaşık bir hedef uygulama olan Chrome üzerinde yapıldığını ve sonuçların diğer platformlara genellenemeyeceğini vurguladı. VulnCheck Ürün Mühendisliği Başkan Yardımcısı Michael Price ise yapay zeka modellerinin henüz büyük ölçekte güvenilir sömürüler gerçekleştirecek kadar iyi olmadığını belirtti. Price, modellerin planlama yeteneklerinin geliştiğini ancak her ay veya çeyrekte %1 iyileşme kaydederek 2-4 yıl içinde gerçekten iyi seviyeye ulaşabileceklerini ifade etti.
Uzmanların Görüşleri
Bugcrowd CEO'su Dave Gerry, yapay zeka destekli keşiflerin artmasıyla sıfırıncı gün zafiyetlerinin sömürülme süresinin kısaldığına dikkat çekti. Gerry, kuruluşların savunma hızını saldırı hızına yetiştirmek için yapay zeka destekli otomasyon ve önceliklendirme çözümleri geliştirmeleri gerektiğini söyledi. Ayrıca, düzeltme süreçlerinin bilet kuyruklarından gerçek zamanlı iş akışlarına dönüştürülmesi gerektiğini vurguladı.
ExploitBench, Bugcrowd'un pekiştirmeli öğrenme (RL) ortamlarıyla birlikte yayınlandı. Amaç, sadece modellerin mevcut yeteneklerini ölçmek değil, aynı zamanda hedefli RL eğitimiyle bu yetenekleri geliştirmek. Brumley, ExploitBench'in modellerin gerçek sömürü görevlerinde nerede olduğunu görmek için bir motivasyon aracı olduğunu belirtti. Gerry ise kıyaslama ve eğitim ortamlarının birbirini tamamladığını ifade etti.
Sonuç olarak, yapay zeka modellerinin siber güvenlik alanındaki yetenekleri hızla gelişiyor. Ancak uzmanlar, bu gelişmelerin hem saldırganlar hem de savunmacılar için yeni fırsatlar ve riskler yarattığı konusunda hemfikir. Kuruluşların, yapay zeka destekli tehditlere karşı koymak için otomatik düzeltme ve önceliklendirme stratejilerini benimsemeleri kritik önem taşıyor. ExploitBench gibi kıyaslamalar, bu alandaki ilerlemeyi ölçmek ve yönlendirmek için önemli bir araç olarak öne çıkıyor.
Kaynak: infosecurity-magazine.com
