Otonom yapay zeka ajanları tasarlamak benzersiz bir hayal kırıklığı yaratır. Karmaşık bir görevi yapay zekaya teslim ederiz, 30 saniye (ya da 30 dakika) boyunca kaybolur ve ardından bir sonuçla geri döner. Ekrana bakarız: Çalıştı mı? Halüsinasyon gördü mü? Uyum veritabanını kontrol etti mi yoksa o adımı atladı mı? Bu kaygıya genellikle iki uçtan biriyle yanıt veririz: Ya her şeyi gizleyerek sistemi bir Kara Kutu haline getiririz ya da panikleyerek kullanıcıya her log satırını ve API çağrısını akıtan bir Veri Dökümü sağlarız. Ne yazık ki, her iki yaklaşım da kullanıcılara ideal şeffaflık seviyesini sunma nüansını doğrudan ele almaz.
Kara Kutu kullanıcıları güçsüz hissettirirken, Veri Dökümü bildirim körlüğü yaratır ve ajanın sağlayacağı verimliliği yok eder. Kullanıcılar sürekli bilgi akışını görmezden gelir ve bir şey bozulana kadar dikkat etmez; o noktada da sorunu düzeltecek bağlamdan yoksun olurlar. Bu dengeyi bulmak için organize bir yönteme ihtiyacımız var. Önceki makalemde, güven oluşturmak için arayüz öğelerini incelemiştik: AI'nın niyetini önceden gösteren Niyet Önizlemeleri ve kullanıcının AI'nın ne kadarını kendi başına yapacağını kontrol etmesini sağlayan Otonomi Kadranları gibi. Ancak hangi öğelerin kullanılacağını bilmek sorunun sadece bir kısmı. Tasarımcılar için daha zor soru, bu öğeleri ne zaman kullanacaklarını bilmektir.
Bu makale, bu soruyu yanıtlamak için bir yöntem sunuyor: Karar Düğümü Denetimi (Decision Node Audit). Bu süreç, tasarımcıları ve mühendisleri bir araya getirerek arka uç mantığını kullanıcı arayüzüne eşler. AI'nın ne yaptığına dair kullanıcının güncellemeye ihtiyaç duyduğu anları tam olarak nasıl belirleyeceğinizi öğreneceksiniz. Ayrıca, hangi karar düğümlerinin görüntüleneceğini önceliklendirmek için bir Etki/Risk matrisi ve bu düğümle eşleştirilecek ilgili tasarım desenini ele alacağız.
Bir sigorta şirketi olan Meridian (gerçek adı değil) örneğini ele alalım. Şirket, ilk kaza taleplerini işlemek için bir yapay zeka ajanı kullanıyor. Kullanıcı, araç hasar fotoğraflarını ve polis raporunu yüklüyor. Ajan bir dakika kaybolduktan sonra bir risk değerlendirmesi ve önerilen ödeme aralığı ile dönüyor. Başlangıçta Meridian'ın arayüzü sadece 'Talep Durumu Hesaplanıyor' yazıyordu. Kullanıcılar hayal kırıklığına uğradı. Birkaç ayrıntılı belge göndermişlerdi ve AI'nın polis raporundaki hafifletici koşulları inceleyip incelemediğinden emin olamadılar. Kara Kutu güvensizlik yarattı.
Gelecekte Ne Bekleniyor?
Sorunu çözmek için tasarım ekibi bir Karar Düğümü Denetimi gerçekleştirdi. AI'nın olasılığa dayalı üç farklı adım gerçekleştirdiğini buldular: Görüntü Analizi (hasar fotoğraflarını tipik kaza senaryoları veritabanıyla karşılaştırarak onarım maliyetini tahmin etme, güven puanı içerir), Metin İncelemesi (polis raporunu sorumlulukla ilgili anahtar kelimeler için tarama, yasal durumun olasılık değerlendirmesi) ve Poliçe Çapraz Referansı (talebi kullanıcının poliçe şartlarıyla eşleştirme, istisnalar ve kapsam limitlerini arama). Ekip bu adımları şeffaflık anlarına dönüştürdü. Arayüz sırası şu şekilde güncellendi: 'Hasar Fotoğrafları Değerlendiriliyor: 500 araç çarpma profiliyle karşılaştırılıyor', 'Polis Raporu İnceleniyor: Sorumluluk anahtar kelimeleri ve yasal emsaller analiz ediliyor' ve 'Poliçe Kapsamı Doğrulanıyor: Planınızdaki belirli istisnalar kontrol ediliyor'. Sistem aynı sürede çalışmaya devam etti, ancak ajanın iç işleyişi hakkında açık iletişim kullanıcı güvenini geri kazandırdı.
Teknik Analiz
Çoğu AI deneyiminde, işleme sırasında görüntülenebilecek sayısız olay ve karar düğümü bulunur. Denetimin en kritik sonuçlarından biri, neyin görünmez tutulacağına karar vermekti. Meridian örneğinde, arka uç logları talep başına 50'den fazla olay üretiyordu. Varsayılan olarak her olayı kullanıcı arayüzünde gösterebilirdik. Bunun yerine, risk matrisini kullanarak bunları budadık: 'Sunucu Batı-2'ye yedeklilik kontrolü için ping atılıyor' gibi düşük riskli, yüksek tekniklikteki log olaylarını gizledik; 'Onarım tahmininin BlueBook değeriyle karşılaştırılması' gibi yüksek riskli, kullanıcının ödemesini etkileyen olayları gösterdik. Gereksiz ayrıntıları keserek, kapsam doğrulaması gibi önemli bilgiler daha etkili hale geldi. Bu sayede açık, anlaşılır bir arayüz yarattık.
Kaynak: smashingmagazine.com
