PEFT
Temel modelin yalnız küçük bir parametre alt kümesini veya ek adapter parametrelerini eğiterek görev uyarlaması yapan yöntem ailesi.
Teknik Bağlam
LoRA, prefix/prompt tuning ve adapter tabanlı yaklaşımlar GPU belleği ve checkpoint boyutunu tam fine-tuning'e göre azaltabilir.
Sınırlar
PEFT tek bir algoritma değildir ve temel modelin tüm davranışını güvenilir biçimde yeniden şekillendirme garantisi vermez.
İlgili Kavramlar
- LoRA
- Fine-Tuning
- Adapter
- Instruction Tuning