Otonom ajanların tasarımı, kullanıcılarda belirsizlik yaratabilir: Karmaşık bir görev verdiğimiz yapay zeka bir süre kaybolur ve sonucu getirir. Bu süreçte kullanıcılar genellikle iki uç noktaya yönelir: ya sistemi tamamen siyah kutu olarak bırakır ya da her log kaydını kullanıcıya fırlatan bir veri yığını sunar. Ancak ne siyah kutu ne de veri yığını ideal şeffaflık seviyesini sağlar. Siyah kutu kullanıcıyı güçsüz hissettirirken, veri yığını bildirim körlüğüne yol açar ve ajanın vaat ettiği verimliliği yok eder.
Victor Yocco, bu dengeyi bulmak için Karar Düğümü Denetimi adlı bir yöntem öneriyor. Bu süreçte tasarımcılar ve mühendisler bir araya gelerek arka uç mantığını kullanıcı arayüzüne eşler. Amaç, kullanıcının yapay zekanın ne yaptığını bilmesi gereken tam anları belirlemektir. Örneğin, bir sigorta şirketi olan Meridian (gerçek adı değil), hasar taleplerini işleyen bir ajan için bu denetimi uyguladı. Başlangıçta yalnızca 'Talep Durumu Hesaplanıyor' gösterilirken, kullanıcılar güvensizlik hissetti. Denetim sonucunda ajanın üç ana adımı (görüntü analizi, metin incelemesi, politika çapraz referansı) belirlendi ve bu adımlar kullanıcıya gösterilerek güven yeniden sağlandı.
Meridian örneğinde, ekip ayrıca bir Etki/Risk matrisi kullanarak hangi karar düğümlerinin gösterileceğine karar verdi. Arka uçta 50'den fazla olay kaydedilirken, yalnızca yüksek riskli ve kullanıcı için anlamlı olanlar seçildi. Örneğin, 'Sunucu West-2'ye ping atılıyor' gibi düşük riskli ve teknik detaylar gizlenirken, 'Onarım tahmini BlueBook değeriyle karşılaştırılıyor' gibi ödeme tutarını etkileyen adımlar gösterildi. Bu sayede kullanıcılar, gereksiz bilgi yığınına boğulmadan kritik noktalarda şeffaflık elde etti.
Sonuç olarak, ajanik yapay zeka tasarımında şeffaflık anlarını doğru belirlemek, kullanıcı güvenini artırmanın anahtarıdır. Karar Düğümü Denetimi, hangi adımların kullanıcıya gösterileceğini sistematik olarak belirlerken, Etki/Risk matrisi önceliklendirme sağlar. Bu yaklaşım, siyah kutu ile veri yığını arasında dengeli bir yol sunarak, kullanıcıların yapay zekanın eylemlerini anlamasını ve gerektiğinde müdahale etmesini mümkün kılar.
