İngiltere Ulusal Siber Güvenlik Merkezi (NCSC), otonom yapay zeka (agentic AI) sistemlerini kullanmak isteyen ancak beraberindeki siber risklerden endişe duyan kuruluşlar için yeni bir rehber yayınladı. Beş Göz (Five Eyes) istihbarat ittifakı üyesi ülkelerle birlikte hazırlanan belge, ajan sistemlerinin özerklik ve karmaşıklığının onları özellikle tehlikeli hale getirdiğini vurguluyor. Aşırı geniş erişim izinleri, öngörülemeyen davranışlar ve insan müdahalesini aşan hızlı eylemler, bu sistemlerin kontrolünü zorlaştırıyor.
NCSC, kuruluşları ajanları devreye almadan önce dikkatlice düşünmeye çağırıyor. Yetersiz tasarlanmış veya aşırı yetkilendirilmiş bir ajanın tek bir hatasının hızla ciddi bir olaya dönüşebileceği uyarısında bulunuyor. Bu nedenle, kuruluşların öncelikle nelerin yanlış gidebileceğini değerlendirmesi, yapay zekanın gerçekten gerekli olup olmadığını sorgulaması ve kademeli olarak, sıkı sınırlandırılmış pilot uygulamalarla başlaması öneriliyor. Ayrıca, sistemin sahibi, erişim onaylayıcısı, izleyicisi ve durdurma yetkisine sahip kişinin önceden belirlenmesi gerekiyor.
Rehberde, ajanların görevini yanlış anlaması, kapsamını aşması veya manipüle edilmesi durumunda neler olabileceğinin düşünülmesi ve hassas verilere veya kritik sistemlere sınırsız erişim verilmemesi uyarısı yapılıyor. 'Eğer bir ajanın eylemlerini anlayamıyor, izleyemiyor veya kontrol edemiyorsanız, devreye almaya hazır değildir' ifadesine yer veriliyor. İnsan gözetiminin ve kontrolünün sürekliliğinin sağlanması gerektiği vurgulanıyor.
Neyse ki, uluslararası ETSI EN 304 223 standardıyla tanımlanan endüstriyel en iyi uygulamalar bu riskleri azaltmada yardımcı olabilir. NCSC, en az ayrıcalık ilkesinin uygulanması, kapsamın sınırlandırılması, uzun ömürlü kimlik bilgilerinden kaçınılması, güvenli varsayılanların kullanılması, bağımlılıkların anlaşılması, davranışların izlenmesi, tehdit modellemesi yapılması ve olaylara hazırlıklı olunması gibi önlemleri sıralıyor. Rehber, 'Küçük başlayın, mevcut siber hijyen ve yönetişimi en baştan uygulayın ve başarısızlık için plan yapın' tavsiyesiyle sona eriyor.
