LoRA
Büyük model ağırlıklarını dondurup seçilen ağırlık güncellemelerini düşük rank'lı iki matris üzerinden öğrenen parameter-efficient fine-tuning tekniği.
Makine Öğrenmesi Bağlamı
ΔW yaklaşık BA çarpımıyla temsil edilir; eğitilen parametre sayısı ve optimizer state ciddi biçimde azalır. Adapter'lar farklı görevlar için ayrı saklanabilir.
Genelleme ve Ölçüm Sınırı
LoRA inference maliyeti ve kalite davranışı rank, hedef katmanlar ve merge stratejisine bağlıdır; tam fine-tuning ile eşdeğer değildir.
İlişkili Makine Öğrenmesi Kavramları
- PEFT
- Fine-Tuning
- Quantization
- Adapter
Kaynak
- https://arxiv.org/abs/2106.09685