PromptEval tarafından yayınlanan Prompt Kalite Raporu, 1.000'den fazla gerçek prompt'u 12 farklı kullanım senaryosunda puanladı. Sonuçlar oldukça çarpıcı: Ortalama puan 100 üzerinden sadece 52, prompt'ların yalnızca %8'i 'iyi' (75+) kategorisine girebildi. En güçlü belirleyici faktör ise prompt'un çıktı formatını tanımlaması oldu; bu özellik prompt'a ortalama 27 puan kazandırdı. Ayrıca, prompt'ların 10'da 9'unda en zayıf boyut 'robustluk' (sağlamlık) olarak belirlendi.
Puan dağılımına bakıldığında, prompt'ların %25'i 0-40 arası (başarısız), %31'i 41-60 (vasat altı), %36'sı 61-74 (işlevsel ama sıradan), sadece %8'i 75-84 (iyi) ve %1'den azı 85-100 (mükemmel) aralığında yer aldı. Bu veriler, kullanıcıların araçları iyi bilmelerine rağmen prompt'larının çoğunun yetersiz olduğunu gösteriyor. Başarısızlığın nedeni yetenek eksikliği değil, prompt yazarken atlanan birkaç kritik unsur.
Prompt kalitesini artıran faktörler arasında çıktı formatını tanımlamak (+27 puan), açık kısıtlamalar belirlemek (+22 puan), rol veya kişilik atamak (+15 puan) ve en az bir örnek eklemek (+13 puan) yer alıyor. En büyük puan farkı, modelden istenen cevabın şeklini belirtmemekten kaynaklanıyor. Ayrıca, kısa prompt'lar (200 karakter altı) ortalama 27 puan alırken, 2000 karakter üstü prompt'lar 67 puana ulaşıyor. Uzunluk tek başına yeterli olmasa da, format, kısıtlar ve örnekler için yeterli alan sağlıyor.
Nasıl Önlem Alınmalı?
Rapor, zayıf bir prompt'un nasıl iyileştirilebileceğine dair somut bir örnek de sunuyor: 'Müşteri mesajına destek yanıtı yaz' (34 puan) yerine, 'Bir SaaS ürünü için müşteri destek temsilcisisin. Mesaja 2-3 cümleyle, arkadaşça ve spesifik yanıt ver; asla para iadesi veya zaman taahhüdünde bulunma. Mesaj destek talebi değilse sadece 'Size nasıl yardımcı olabilirim?' yanıtını ver' (78 puan). Bu dört iyileştirme (format, kısıt, rol, kenar durum) prompt'u başarısızlıktan iyi seviyeye taşıyor. Veriler, prompt kalitesini artırmak için bu dört unsurun kritik olduğunu gösteriyor.
