Knowledge Distillation

Bilgi damıtma (Knowledge Distillation) — Büyük veya güçlü bir öğretmen modelin çıktı dağılımı ya da ara temsillerini kullanarak daha küçük öğrenci modeli eğitme yaklaşımı.

Makine Öğrenmesi Bağlamı

Soft target'lar sınıf ilişkileri veya öğretmen davranışı hakkında hard label'dan daha fazla sinyal taşıyabilir. Model compression ve edge deployment için kullanılır.

Genelleme ve Ölçüm Sınırı

Distillation öğrenci modelin öğretmenden daha küçük olmasını gerektiren mutlak bir kural değildir ve öğretmenin hataları da aktarılabilir.

İlişkili Makine Öğrenmesi Kavramları

• Model Compression
• Teacher Model
• Student Model
• Quantization

Doğrudan kaynak: Knowledge Distillation için kullanılan teknik dayanak yukarıdaki birincil çalışma veya resmî belirtimdir.