Infosecurity Europe 2026'da Bugcrowd tarafından sunulan ExploitBench adlı yeni bağımsız kriter testi, öncü yapay zeka modellerinin gerçek dünyadaki güvenlik açıklarını sömürme yeteneklerini ölçüyor. Carnegie Mellon Üniversitesi ve üst düzey Chrome güvenlik araştırmacılarının katkılarıyla geliştirilen bu testin ilk sonuçlarına göre, Anthropic'in Claude Mythos modeli, OpenAI'in GPT-5.5 modeline kıyasla önemli ölçüde daha yüksek bir sömürü performansı sergiledi. Bugcrowd'un baş yapay zeka ve bilim sorumlusu David Brumley, bu kriterin 'bir güvenlik açığını sadece tanımlamakla kalmayıp adım adım sömürebilen yapay zeka modellerinin gerçek yeteneklerini ölçen ilk bağımsız test' olduğunu belirtti.
ExploitBench, önceki ikili testlerden farklı olarak, sadece bir çökme kaydetmek yerine aşamalı sömürü sonuçlarını puanlıyor. Test, Google Chrome, Microsoft Edge, Node.js ve Cloudflare Workers'ı çalıştıran JavaScript/WebAssembly motoru V8'in güvenlik açığı bulunan bir sürümüne karşı beş yetenek seviyesini değerlendiriyor. İlk testlerde, ara sıra insan ipuçları alan Anthropic Mythos, 16 üzerinden ortalama 9.90 puan alırken, 41 güvenlik açığından 21'inde en üst seviyeye ulaştı. Buna karşılık OpenAI'in GPT-5.5 modeli ortalama 5.51 puan alırken sadece iki vakada en üst seviyeye çıkabildi.
Brumley, 'Örneğin, Mythos Chrome'daki bir günlük güvenlik açığını yaklaşık %50 oranında sömürebiliyor. Bu lider seviye bir aktivite. Google, daha önce bilinen bir istismarı olmayan böyle bir güvenlik açığı için 10.000 dolara kadar ödül verebilir' dedi. Ayrıca, 'Anthropic'in modeli bunları üretiyor ve üst düzey hackerların bile kaçırdığı açıkları sömürmek için çözümler buluyor - bu oldukça etkileyici' diye ekledi. Brumley, GPT-5.5'in performansının şu an biraz daha düşük olmasına rağmen, OpenAI modelinin daha geniş erişilebilirliğinin daha fazla kişinin istismar geliştirmek için kullanmasına olanak tanıdığını vurguladı.
Teknik Analiz
Öncü büyük dil modelleri (LLM'ler) daha önce güvenlik açıklarını ölçekte keşfetmeyi hızlandırabildiklerini göstermişti, ancak bu keşiflerin güvenilir ve uygulanabilir istismarlara dönüştürülüp dönüştürülemeyeceği ExploitBench'e kadar açık bir soruydu. Brumley, 'Sadece çökme veya çökmeme değil, sömürünün aşamalarını ölçüyoruz' diyerek yeni kriterin gerçek sömürü yeteneğini değerlendirmek için neden önemli olduğunu açıkladı. Bu ayrım kritik çünkü sıfır gün açıklarını güvenilir bir şekilde sömürebilen modeller, tehdit aktörlerinin güvenlik açıklarını silah haline getirme eşiğini düşürüyor.
Sonuç ve Değerlendirme
Bugcrowd CEO'su Dave Gerry, otomasyon ve yapay zekanın saldırgan iş akışlarına entegre edildiği ve keşfedilen açıkların aktif istismarlara dönüştürülme hızını artırdığı konusunda uyardı. Bununla birlikte Brumley, ExploitBench'in ilk bulgularının yalnızca belirli bir tür güvenlik açığını yansıttığını ve sonuçların genelleştirilmemesi gerektiğini belirtti: 'Burada hiçbir şeyi abartmak istemiyorum. Çok sofistike bir hedef uygulama ölçtük. Chrome yüz binlerce satır koddan oluşuyor ve yıllardır denetleniyor. Orada bir istismar bulmanın ne kadar değerli olduğunu biliyoruz. Bu, bir web uygulamasındaki güvenlik açığını sömürmeye çalışırken aynı sonuçları alacağımız anlamına gelmez.'
VulnCheck Ürün Mühendisliği Başkan Yardımcısı Michael Price, yapay zeka modellerinin geliştiğini ancak henüz ölçekte güvenilir bir şekilde sömürü gerçekleştirecek kadar iyi olmadığını söyledi. Price, en önemli ilerlemenin modellerin planlama yeteneğinde olduğunu - adım adım planlar üretme, gerektiğinde yeniden planlama ve çok aşamalı eylemleri yürütme kapasitesi - bunun da onları saldırı kampanyaları için daha kullanışlı hale getirdiğini açıkladı. 'Her ay veya her çeyrekte %1 daha iyi hale gelmelerini ve muhtemelen iki ila dört yıl içinde gerçekten iyi olmalarını beklerim' dedi.
Brumley ve Gerry, ExploitBench'in Bugcrowd'un pekiştirmeli öğrenme (RL) ortamlarıyla birlikte yayınlandığını vurguladı. Brumley, 'ExploitBench'i modellerin gerçek sömürü görevlerinde nerede olduğunu motive etmek için yayınladık' derken Gerry, kriter ve eğitim ortamlarının tamamlayıcı olduğunu ekledi: biri ölçümü, diğeri ise hedefli RL eğitimi ile iyileştirmeyi sağlıyor. Gerry, 'sıfır gün saat'inin kısaldığını ve yapay zeka destekli keşifteki artışın, kuruluşların ölçekte yapay zeka odaklı düzeltme geliştirmesi gerektiği anlamına geldiğini' belirtti.
Nasıl Önlem Alınmalı?
Şirket liderleri, savunmacıların saldırı hızına otomatik düzeltme ve önceliklendirme ile karşılık vermesi gerektiğini vurguladı. Gerry, düzeltme boru hatlarının yeniden düşünülmesi gerektiğini, böylece düzeltmelerin bilet kuyruklarından gerçek zamanlı iş akışlarına taşınabileceğini söyledi. 'Daha hızlı daha fazla hata bulmak, otomatik olarak önceliklendirip istismarları etkinleştirenleri harekete geçiremezseniz, yalnızca gürültüyü artırır.' Brumley de bu aciliyeti yineleyerek savunmacıların, düşmanlar istismar etmeden önce en önemli güvenlik açıklarını önceliklendirmek ve düzeltmek için bağlamsal zekaya ihtiyaç duyduğunu ekledi.
Kaynak: infosecurity-magazine.com
