Prompt Evaluation
Bir istemin tek örnekte iyi görünmesine değil, temsilî girdilerde doğruluk, biçim uyumu, güvenlik ve kararlılık gibi ölçütlerle sınanmasına dayanan değerlendirme süreci.
İki istem arasında seçim yapmak için yalnız “bu yanıt daha iyi görünüyor” demek yeterli değildir. İstem değerlendirmesi, aynı görevi farklı ve temsilî girdiler üzerinde ölçmeyi amaçlar.
Değerlendirme kümesi yalnız kolay örneklerden oluşursa yanıltıcıdır. Normal girdilerin yanında sınır durumları, eksik bağlam, çelişkili veri ve güvenlik açısından riskli girişler de bulunabilir.
Ölçülebilecek şey görev türüne göre değişir:
Değerlendirme, göreve göre farklı boyutları birlikte ele alır. Doğruluk, yanıtın referans cevaba uyumuyla; biçim, şema veya JSON doğrulamasıyla; tutarlılık, aynı istemin tekrarlanan çalıştırmaları arasındaki sapmayla ölçülebilir. Güvenlik, yasak bir eylemin yürütülmesi veya veri sızıntısı gibi sonuçlara; maliyet ise kullanılan token miktarı ve gecikmeye göre incelenir. Bu boyutlar birbirinden farklıdır ve görev önemine göre ayrı raporlanabilir.
Tek bir toplam puan her zaman doğru karar vermez. Kritik bir sistemde düşük olasılıklı fakat yüksek etkili hata, ortalama kalite artışından daha önemli olabilir.
Bkz. İstem Mühendisliği.