Birleşik Krallık Ulusal Siber Güvenlik Merkezi (NCSC), agentik yapay zeka (AI) sistemlerini kullanmak isteyen ancak beraberinde gelen siber risklerden endişe duyan kuruluşlar için yeni bir rehber yayımladı. Bu belge, NCSC'nin Avustralya, Kanada, ABD ve Yeni Zelanda'daki Five Eyes ortaklarıyla birlikte hazırladığı daha detaylı bir raporu özetliyor. Rehber, agentik sistemlerin özerkliği ve karmaşıklığının onları özellikle tehlikeli kıldığını vurguluyor; dış sistemlere, verilere ve araçlara aşırı geniş erişim ile öngörülemeyen davranışlara dikkat çekiyor.
NCSC'ye göre, agentik AI'nın eylemleri insanların inceleyebileceğinden daha hızlı gerçekleştiğinde sorunları tespit etmek zorlaşıyor. Ayrıca, ajanların sergilediği geniş davranış yelpazesi ve kullanabilecekleri araçlar, belirli bir eylem dizisini açıklamayı daha da güçleştiriyor. Bu nedenle kuruluşlar, agentleri devreye almadan önce dikkatlice düşünmeli; aşırı yetkilendirilmiş veya kötü tasarlanmış bir ajanın tek bir hatasının hızla ciddi bir olaya dönüşebileceğini unutmamalıdır.
Kuruluşlar, neyin yanlış gidebileceğini düşünmeli, AI'nın belirli kullanım durumları için gerçekten gerekli olup olmadığını değerlendirmeli ve dağıtımı aşamalı olarak yapmalıdır. NCSC, 'açıkça tanımlanmış görevlerle sıkı sınırlandırılmış pilot uygulamalarla başlayın' önerisinde bulunuyor. Ayrıca, dağıtımdan önce agentik sisteme kimin sahip olduğu, erişimini kimin onayladığı, davranışını kimin izlediği, olayları kimin incelediği ve bir sorun durumunda sistemi kimin durdurabileceği gibi soruların yanıtlanması gerekiyor.
Nasıl Önlem Alınmalı?
NCSC, 'Bir ajanın görevini yanlış anlaması, amaçlanan kapsamını aşması veya manipüle edilmesi durumunda neler olabileceğini düşünün ve bir ajana hassas verilere veya kritik sistemlere asla sınırsız erişim vermeyin' uyarısında bulunuyor. Ayrıca, sistemin işleyişi üzerinde sürekli görünürlük sağlanması ve anlamlı insan denetiminin nasıl sürdürüleceğinin anlaşılması gerektiği vurgulanıyor: 'Bir ajanın eylemlerini anlayamıyor, izleyemiyor veya kontrol edemiyorsanız, dağıtıma hazır değildir.'
Gelecekte Ne Bekleniyor?
Neyse ki, uluslararası ETSI EN 304 223 standardıyla tanımlanan sektördeki en iyi uygulamalar bu noktada yardımcı olabilir. NCSC, agentik AI riskini azaltmak için şu adımları öneriyor: En az ayrıcalık ilkesini uygulayarak ajanlara yalnızca ihtiyaç duydukları minimum erişimi ve en kısa süre için verin; erişebilecekleri kaynakları, gerçekleştirebilecekleri eylemleri ve zamanlamayı sınırlayarak kapsamı daraltın; uzun ömürlü kimlik bilgilerinden kaçının, mümkünse geçici olanları kullanın ve görevler tamamlandığında yükseltilmiş erişimi iptal edin; güvenli varsayılanlar kullanarak uygulamaları güvenli yapılandırma, güvenli protokoller ve uygun doğrulama ile tasarlayın.
Detaylar ve Etkileri
Ayrıca, üçüncü taraf bileşenler, modeller, araçlar ve entegrasyonlar için tedarik zinciri riskini yönetmek amacıyla bağımlılıkları anlayın; araçlar, iş akışları ve bağlı sistemler genelinde olağan dışı veya beklenmeyen etkinlikleri tespit etmek için davranışları izleyin; sistemin nasıl kötüye kullanılabileceğini, manipüle edilebileceğini veya beklenmedik davranışlara neden olabileceğini değerlendirerek dağıtımı tehdit modelleyin; ve olay müdahale planlarının agentik AI arızalarını, kötüye kullanımını ve kontrol kaybını kapsadığından emin olun. NCSC rehberi, 'Agentik AI'nın özellikle tekrarlayan, iyi anlaşılmış ve düşük riskli görevlerde önemli faydalar sağlaması muhtemel' diyerek, sorumlu, düşünceli ve ölçeklenebilir bir benimsemeyi teşvik ediyor ve küçük başlayıp mevcut siber hijyen ve yönetişimi uygulamayı öneriyor.
Kaynak: infosecurity-magazine.com
