Knowledge Distillation
Büyük veya güçlü bir öğretmen modelin çıktı dağılımı ya da ara temsillerini kullanarak daha küçük öğrenci modeli eğitme yaklaşımı.
Teknik Bağlam
Soft target'lar sınıf ilişkileri veya öğretmen davranışı hakkında hard label'dan daha fazla sinyal taşıyabilir. Model compression ve edge deployment için kullanılır.
Sınırlar
Distillation öğrenci modelin öğretmenden daha küçük olmasını gerektiren mutlak bir kural değildir ve öğretmenin hataları da aktarılabilir.
İlgili Kavramlar
- Model Compression
- Teacher Model
- Student Model
- Quantization