Instruction Tuning
Modeli doğal dil talimatlarını izleyen cevap davranışına uyarlamak için talimat-girdi-çıktı örnekleriyle fine-tuning yapma.
Makine Öğrenmesi Bağlamı
Çeşitli görev formatları modelin zero-shot/few-shot instruction following kapasitesini artırabilir. Veri çeşitliliği, kalite ve format tutarlılığı önemlidir.
Genelleme ve Ölçüm Sınırı
Instruction tuning ile preference optimization aynı şey değildir; ilki supervised örnekleri, ikincisi tercih sinyalini kullanabilir.
İlişkili Makine Öğrenmesi Kavramları
- Fine-Tuning
- RLHF
- DPO
- Supervised Fine-Tuning
Ne Öğretilir, Ne Öğretilmez?
Instruction tuning'de denetimli hedef yalnız bir sınıf etiketi değildir; doğal dil talimatı, girdi ve beklenen çıktı biçimi birlikte eğitim örneği oluşturabilir. FLAN çalışması bu fikri çok sayıda görev ailesi üzerinde kullanarak eğitimde görülmeyen görevlerde zero-shot genellemeyi incelemiştir. Böylece model yalnız görevin içeriğini değil, "talimatı görev tanımı olarak yorumlama" davranışını da öğrenir.
Bu eğitim biçimi modelin verdiği her cevabın doğru veya güvenli olacağını garanti etmez. Talimat izleme, bilgi doğruluğu ve tercih uyumu ayrı değerlendirme eksenleridir. RLHF veya DPO gibi tercih tabanlı yöntemler de instruction tuning ile aynı eğitim sinyalini kullanmaz. Instruction tuning'in doğrudan deneysel çerçevesi için: Wei et al., FLAN.