Birleşik Krallık Ulusal Siber Güvenlik Merkezi (NCSC), ajan yapay zeka (agentic AI) kullanmayı düşünen ancak beraberindeki siber risklerden endişe duyan kuruluşlar için yeni bir rehber yayınladı. Belge, NCSC'nin Avustralya, Kanada, ABD ve Yeni Zelanda'daki Beş Göz istihbarat ittifakı ortaklarıyla birlikte hazırladığı daha ayrıntılı bir raporu özetliyor. Rehberde, ajan sistemlerinin özerkliği ve karmaşıklığının onları özellikle tehlikeli kıldığı vurgulanıyor; dış sistemlere, verilere ve araçlara aşırı geniş erişim ile öngörülemez davranışların risk oluşturduğu belirtiliyor.
NCSC, eylemlerin insanların gözden geçirebileceğinden daha hızlı gerçekleşmesi durumunda sorunların tespit edilmesinin zorlaştığını, ajanlara sunulan davranış ve araç çeşitliliğinin ise belirli bir eylem planını açıklamayı güçleştirdiğini ifade ediyor. Kuruluşları ajanları dağıtmadan önce dikkatlice düşünmeye çağıran NCSC, aşırı yetkilendirilmiş veya kötü tasarlanmış bir ajanın tek bir hatasının hızla ciddi bir olaya dönüşebileceği uyarısında bulunuyor. Bu nedenle, kuruluşların neyin yanlış gidebileceğini düşünmeleri, yapay zekanın belirli kullanım durumları için gerçekten gerekli olup olmadığını sorgulamaları ve "açıkça tanımlanmış görevler kullanarak sıkı sıkıya sınırlandırılmış pilot uygulamalarla başlayarak" kademeli olarak dağıtım yapmaları öneriliyor.
Rehberde, dağıtım öncesinde ekiplerin ajan sisteminin sahibini, erişimi onaylayacak kişiyi, davranışı izleyecek ekibi, olayları inceleyecek birimleri ve bir sorun durumunda sistemi durdurabilecek yetkiliyi belirlemesi gerektiği vurgulanıyor. NCSC, "Bir ajanın görevini yanlış anlaması, amaçlanan kapsamını aşması veya manipüle edilmesi durumunda neler olabileceğini düşünün ve bir ajana hassas verilere veya kritik sistemlere asla sınırsız erişim izni vermeyin" uyarısında bulunuyor. Ayrıca, sistemin işleyişi üzerinde sürekli görünürlük sağlanması ve anlamlı insan gözetim ve kontrolünün nasıl sürdürüleceğinin anlaşılması gerektiği belirtiliyor: "Bir ajanın eylemlerini anlayamıyor, izleyemiyor veya kontrol altına alamıyorsanız, dağıtıma hazır değildir."
Neyse ki, uluslararası ETSI EN 304 223 standardıyla tanımlanan sektörün en iyi uygulamaları bu noktada yardımcı olabiliyor. NCSC, ajan yapay zeka riskini azaltmak için şunları öneriyor: En az ayrıcalık ilkesini uygulayarak ajanlara yalnızca ihtiyaç duydukları minimum erişimi en kısa süre için vermek; ajanların erişebileceği kaynakları, gerçekleştirebileceği eylemleri ve zamanlamayı sınırlandırarak kapsamı daraltmak; mümkün olduğunda geçici kimlik bilgileri kullanmak ve görevler tamamlandığında yükseltilmiş erişimi iptal etmek; uygulamaları güvenli yapılandırmalar, protokoller ve doğrulamalarla tasarlamak; üçüncü taraf bileşenler, modeller, araçlar ve entegrasyonlar için tedarik zinciri riskini yönetmek; araçlar, iş akışları ve bağlı sistemler genelinde olağandışı etkinlikleri izlemek; sistemin nasıl kötüye kullanılabileceğini veya beklenmedik davranışlara yol açabileceğini değerlendirmek; ve olay müdahale planlarının ajan yapay zeka arızalarını, kötüye kullanımını ve kontrol kaybını kapsadığından emin olmak. NCSC rehberi, "Ajan yapay zeka, özellikle tekrarlayan, iyi anlaşılmış ve düşük riskli görevlerde birçok senaryoda önemli faydalar sağlayabilir. NCSC bu faydaların gerçekleştirilmesi arzusunu anlıyor ve sorumlu, düşünceli ve ölçeklenebilir bir benimsemeyi teşvik ediyor. Küçük başlayın, mevcut siber hijyen ve yönetişimi en baştan uygulayın ve başarısızlığa (buna nasıl yanıt vereceğiniz dahil) karşı plan yapın" ifadelerine yer veriyor.
