LoRA
Büyük model ağırlıklarını dondurup seçilen ağırlık güncellemelerini düşük rank'lı iki matris üzerinden öğrenen parameter-efficient fine-tuning tekniği.
Teknik Bağlam
ΔW yaklaşık BA çarpımıyla temsil edilir; eğitilen parametre sayısı ve optimizer state ciddi biçimde azalır. Adapter'lar farklı görevlar için ayrı saklanabilir.
Sınırlar
LoRA inference maliyeti ve kalite davranışı rank, hedef katmanlar ve merge stratejisine bağlıdır; tam fine-tuning ile eşdeğer değildir.
İlgili Kavramlar
- PEFT
- Fine-Tuning
- Quantization
- Adapter
Kaynak
- https://arxiv.org/abs/2106.09685