Prompt Evaluation
Bir istemin tek örnekte iyi görünmesine değil, temsilî girdilerde doğruluk, biçim uyumu, güvenlik ve kararlılık gibi ölçütlerle sınanmasına dayanan değerlendirme süreci.
İki istem arasında seçim yapmak için yalnız “bu yanıt daha iyi görünüyor” demek yeterli değildir. İstem değerlendirmesi, aynı görevi farklı ve temsilî girdiler üzerinde ölçmeyi amaçlar.
Değerlendirme kümesi yalnız kolay örneklerden oluşursa yanıltıcıdır. Normal girdilerin yanında sınır durumları, eksik bağlam, çelişkili veri ve güvenlik açısından riskli girişler de bulunabilir.
Ölçülebilecek şey görev türüne göre değişir:
| Boyut | Örnek ölçüm | |---|---| | Doğruluk | referans cevaba uyum | | Biçim | şema/JSON doğrulaması | | Tutarlılık | tekrarlar arası sapma | | Güvenlik | yasak eylem veya veri sızıntısı | | Maliyet | token ve gecikme |
Tek bir toplam puan her zaman doğru karar vermez. Kritik bir sistemde düşük olasılıklı fakat yüksek etkili hata, ortalama kalite artışından daha önemli olabilir.
Bkz. İstem Mühendisliği.