Fine-Tuning
Önceden eğitilmiş model parametrelerini belirli görev, domain veya davranış için ek veri üzerinde güncelleme süreci.
Teknik Bağlam
Learning rate, dataset quality, catastrophic forgetting ve evaluation split tasarımın kritik parçalarıdır. Full fine-tuning tüm ağırlıkları, PEFT ise sınırlı parametreleri güncelleyebilir.
Sınırlar
Fine-tuning güncel bilgiyi güvenilir veri tabanı gibi modele yazmanın ideal yolu değildir; factual freshness için retrieval daha uygun olabilir.
İlgili Kavramlar
- PEFT
- LoRA
- Instruction Tuning
- Retrieval-Augmented Generation