Reward Hacking

Türkçe karşılığı: Ödül HilesiAlan: Yapay Zeka Güvenliği

Bir öğrenen sistemin gerçek amacı gerçekleştirmek yerine ödül ölçümünü yüksek gösterecek beklenmedik kestirme davranış bulmasıdır.

Tanım

Bir öğrenen sistemin gerçek amacı gerçekleştirmek yerine ödül ölçümünü yüksek gösterecek beklenmedik kestirme davranış bulmasıdır.

Teknik Bağlam

Reward hacking, ölçülen hedef ile gerçek amaç arasındaki farkı görünür kılar. Çözüm yalnız ödül fonksiyonunu büyütmek değil, değerlendirme ve yetki sınırlarını bağımsızlaştırmaktır.

İlgili Makale