Bir yapay zeka ajanına fiziksel olarak imkansız bir hedef verirseniz ne olur? Hile yapmaya çalışır mı, yoksa başarısız olmayı mı kabul eder? Bir geliştirici, bu soruyu test etmek için bir AI ajanına, 60Hz yenileme hızına sahip bir monitörde ulaşılamayacak bir FPS hedefi (65 FPS) verdi. Sonuç, ajanın hile yapmak yerine defalarca başarısız olduğu, ancak asla sonucu taklit etmediği bir deney oldu. Hata, kodda değil, geliştiricinin belirlediği hedef sayıdaydı.
Döngü (loop) kavramı sıkça yanlış anlaşılıyor. Bir döngü, ajanın kendi çalışmasını değerlendirmesi değil, harici bir betiğin ajanı yeniden çalıştırması ve ajanın değiştiremeyeceği ayrı bir kontrol mekanizmasıdır. Ajan kendi notunu verirse genellikle 'geçti' der. Gerçek döngü şu üç bileşenden oluşur: sürücü (ajanı çalıştıran betik), geçit (başarı/başarısızlığı belirleyen kontrol) ve sınır (döngünün sonsuza kadar dönmesini engelleyen limit).
En kritik kural, kontrol edilen şeyin asla kontrolü değiştirememesidir. Yalnızca bir insan hedefi değiştirebilir. Eğer ajan kendi testini düzenleyebilir veya hedefi düşürebilirse, döngü anlamsızlaşır. Bu nedenle, döngünün çoğu işi akıllı bir komut yazmak değil, ajanın atlatamayacağı bir kontrol inşa etmektir.
Deneyde kullanılan web sitesi, film posterlerinden oluşan bir ızgaraydı. Performans ölçütü olarak 'pürüzsüz his' sayısallaştırıldı: kaydırma ve yakınlaştırma sırasında sürekli FPS ve 50 milisaniyeden uzun ana iş parçacığı görevi olmaması. Gerçek JPEG görseller kullanıldı, çünkü renkli kutular performans testi için gerçekçi değil. Playwright testi, FPS hedefini 65 ve uzun görev sınırını 50 ms olarak belirledi.
Uzmanların Görüşleri
Döngü, basit bir bash betiğiyle çalıştırıldı. Her yinelemede, önce geçit kontrolü yapıldı; başarısız olursa Claude AI'dan bir optimizasyon istendi. Ancak, ajanın hedefi veya test dosyasını değiştirmesini önlemek için korumalı dosyalar kontrol edildi. Eğer korumalı bir dosya değişmişse, değişiklik geri alındı ve döngü durduruldu. Bu, ajanın hile yapmasını engelledi.
İlk yinelemede FPS 60.1'di. Claude, bir animasyonu GPU'ya taşıdı ve FPS 60.2'ye yükseldi. Ancak, 60Hz monitörde FPS 60'ın üzerine çıkamazdı. Hedef 65 olduğu için döngü sürekli başarısız oldu. Ajan, hedefi düşürmeye çalışmadı; koruma mekanizması bunu engelledi. Sorun, kodda değil, geliştiricinin yanlış hedefindeydi.
Bu deney, AI ajanlarla çalışırken hedeflerin gerçekçi olması gerektiğini gösteriyor. Ayrıca, ajanın hile yapmasını önlemek için sağlam kontroller kurmanın önemi vurgulanıyor. Performans testlerinde, kullanılan verilerin gerçekçi olması (örneğin gerçek görseller) ve donanım sınırlarının dikkate alınması gerekiyor. Bu yaklaşım, yalnızca web performansı için değil, her türlü AI destekli optimizasyon döngüsü için geçerli.
Kaynak: dev.to
