Birleşik Krallık Ulusal Siber Güvenlik Merkezi (NCSC), ajansal yapay zekadan yararlanmak isteyen ancak ilgili siber risklerden endişe duyan kuruluşlar için yeni kılavuz yayınladı.
Yeni belge, NCSC'nin Avustralya, Kanada, ABD ve Yeni Zelanda'daki Five Eyes muadilleriyle birlikte yazdığı daha ayrıntılı bir raporu özetlemektedir.
Fail sistemlerinin özerkliği ve karmaşıklığının onları özellikle tehlikeli hale getirdiğini ileri sürerek, dış sistemlere, verilere ve araçlara aşırı geniş erişimin yanı sıra öngörülemeyen davranışlara karşı uyarıda bulunuyor.
Sistem Güvenliği
NCSC, eylemlerin insanların inceleyebileceğinden daha hızlı gerçekleştiğinde sorunların tespit edilmesinin daha zor olabileceğini ve temsilcilerin kullanabileceği çok çeşitli davranış ve araçların belirli bir eylem planını açıklamayı daha da zorlaştırdığını belirtti.
Sonuç ve Değerlendirme
Ajansal AI rehberliği hakkında daha fazlasını okuyun: OWASP, Agentic AI Güvenlik Rehberliğini Başlatıyor.
NCSC, kuruluşlara aracıları görevlendirmeden önce dikkatlice düşünmeleri çağrısında bulunarak, aşırı imtiyazlı veya kötü tasarlanmış olması durumunda tek bir hatanın hızla ciddi bir olaya dönüşebileceğini açıkladı.
Bu nedenle kuruluşlar neyin yanlış gidebileceğini düşünmeli, yapay zekanın belirli kullanım durumları için gerçekten gerekli olup olmadığı üzerinde düşünmeli ve "açıkça tanımlanmış görevleri kullanan sıkı sınırlı pilot uygulamalarla başlayarak" yalnızca aşamalı olarak devreye almalıdır.
Önemli Gelişmeler
NCSC, ekiplerin dağıtımdan önce aracı sisteme kimin sahip olduğunu, erişimini kimin onayladığını, davranışını kimin izlediğini, olayları kimin inceleyeceğini ve bir şeyler ters giderse kimin durdurabileceğini belirlemesi gerektiğini ekledi.
"Bir aracının görevini yanlış anlaması, amaçlanan kapsamı aşması veya manipüle edilmesi durumunda ne olabileceğini düşünün ve bir aracıya asla hassas verilere veya kritik sistemlere sınırsız erişim izni vermeyin" dedi.
Uzmanların Görüşleri
"Sistemin işleyişine ilişkin sürekli görünürlük sağladığınızdan ve anlamlı insan gözetimi ve kontrolünü nasıl koruyacağınızı anladığınızdan emin olun. Bir aracının eylemlerini anlayamıyor, izleyemiyor veya kontrol altına alamıyorsanız, aracınız konuşlandırmaya hazır değildir."
Nasıl Önlem Alınmalı?
Ajanslı Yapay Zeka Riskini Azaltmak İçin En İyi Uygulama Yaklaşımı
Teknik Analiz
Neyse ki, uluslararası ETSI EN 304 223 standardında tanımlandığı üzere sektördeki en iyi uygulamalar burada yardımcı olabilir. NCSC, ajanlı AI riskini azaltmak için aşağıdakilerin faydalı olduğunu belirtti:
Temsilcilerin gereken en kısa süre boyunca yalnızca ihtiyaç duydukları minimum erişime sahip olması için en az ayrıcalığı uygulayın
Detaylar ve Etkileri
Böylece aracılar gereken en kısa süre boyunca yalnızca ihtiyaç duydukları minimum erişime sahip olur. Aracıların erişebileceği şeyleri, gerçekleştirebilecekleri eylemleri ve bunları ne zaman gerçekleştirebileceklerini kısıtlayarak kapsamı sınırlayın
Aracıların erişebileceği şeyleri, gerçekleştirebilecekleri eylemleri ve bunları ne zaman gerçekleştirebileceklerini kısıtlayarak Mümkün olduğunda geçici kimlik bilgilerini kullanarak ve görevler tamamlandıktan sonra yükseltilmiş erişimi iptal ederek uzun ömürlü kimlik bilgilerinden kaçının
mümkün olduğunda geçici olanları kullanarak ve görevler tamamlandıktan sonra yükseltilmiş erişimi iptal ederek Uygulamaların güvenli yapılandırmalar, güvenli protokoller ve uygun doğrulamayla tasarlanabilmesi için güvenli varsayılanları kullanın
Gelecekte Ne Bekleniyor?
Uygulamaların güvenli yapılandırmalar, güvenli protokoller ve uygun doğrulamayla tasarlanmasını sağlamak için Üçüncü taraf bileşenler, modeller, araçlar ve entegrasyonlar için tedarik zinciri riskini yönetmek üzere bağımlılıkları anlayın
üçüncü taraf bileşenler, modeller, araçlar ve entegrasyonlar için tedarik zinciri riskini yönetmek Araçlar, iş akışları ve bağlı sistemler genelinde olağandışı veya beklenmeyen etkinlikleri tespit etmek için davranışları izlemek
araçlar, iş akışları ve bağlı sistemler genelinde olağandışı veya beklenmeyen etkinlikleri tespit etmek Sistemin nasıl kötüye kullanılabileceğini, manipüle edilebileceğini veya beklenmedik şekilde davranmasına neden olabileceğini dikkate alarak dağıtımı tehdit modeliyle modelleyin
Sistemin nasıl kötüye kullanılabileceğini, manipüle edilebileceğini veya beklenmedik şekilde davranmasına neden olabileceğini göz önünde bulundurarak Müdahale planlarının yapay zeka hatalarını, kötüye kullanımını ve kontrol kaybını kapsadığından emin olmak için olayları planlayın
NCSC kılavuzunda şu sonuca varılıyor: "Ajantik yapay zekanın birçok senaryoda, özellikle de görevlerin tekrarlandığı, iyi anlaşıldığı ve düşük riskli olduğu durumlarda önemli faydalar sunması muhtemel."
"NCSC, bu faydaları gerçekleştirme arzusunu anlıyor ve sorumlu, düşünceli ve ölçeklenebilir bir benimsemeyi teşvik ediyor. Küçük başlayın, mevcut siber hijyeni ve yönetişimi en baştan uygulayın ve başarısızlığı planlayın (buna nasıl tepki vereceğiniz dahil)."
