PromptEval Prompt Kalite Raporu, müşteri desteğinden sağlık hizmetlerine ve kodlamaya kadar 12 farklı kullanım senaryosunda 1000’den fazla gerçek promptu puanladı. Ortalama puan 52/100 çıkarken, promptların sadece %8’i 75 puan üzeri 'iyi' kategorisine girebildi. En çarpıcı bulgu ise, bir promptun çıktı formatını tanımlamasının ortalama 27 puan fark yaratarak en güçlü belirleyici faktör olması. Ayrıca, 10 prompttan 9’unda en zayıf boyut 'sağlamlık' (robustness) olarak belirlendi.
Puan dağılımına bakıldığında, promptların %25’i 0-40 arası (başarısız), %31’i 41-60 (vasat altı), %36’sı 61-74 (işlevsel ama ortalama), %8’i 75-84 (iyi) ve %1’den azı 85-100 (mükemmel) aralığında yer aldı. Bu, araçları iyi bilen kişilerin bile çoğu zaman 'iyi' seviyeye ulaşamadığını gösteriyor. Eksiklik bir yetenek sorunu değil, birkaç temel unsurun atlanmasından kaynaklanıyor.
İyi bir promptu kötüden ayıran en önemli faktörler sıralandığında, çıktı formatını tanımlamanın 27 puan, kısıtlamalar eklemenin 22 puan, rol atamanın 15 puan ve örnek vermenin 13 puan fark yarattığı görülüyor. Prompt uzunluğu da kritik: 200 karakter altındaki promptlar ortalama 27 puan alırken, 2000 karakter üzeri promptlar 67 puana ulaşıyor. Kullanım alanları arasında sağlık, insan kaynakları ve araştırma gibi yanlış cevabın maliyetli olduğu alanlar en yüksek puanları alırken, pazarlama ve yaratıcı yazarlık en düşük puanlarda kaldı.
Sistem Güvenliği
Rapor, zayıf bir promptun nasıl iyileştirilebileceğini de gösteriyor: Çıktı formatını netleştirmek, kısıtlamalar eklemek, bir rol atamak ve kötü girdi durumları için kural koymak. Örneğin, 'Müşteri mesajına destek yanıtı yaz' gibi bir prompt 34 puan alırken, aynı görev rol, format, kısıtlama ve hata durumu eklendiğinde 78 puana yükseliyor. PromptEval’ın ücretsiz değerlendirme aracıyla promptunuzu puanlatabilir ve hangi boyutlarda eksik olduğunuzu görebilirsiniz.