Operator Fusion
Ardışık tensor operasyonlarını tek optimize kernel veya graph node içinde birleştirerek memory traffic ve kernel launch overhead'i azaltma.
Teknik Bağlam
MatMul + bias + activation veya normalization zincirleri fusion adayı olabilir. Inference engine shape ve hardware bilgisine göre fusion uygular.
Sınırlar
Fusion her zaman mümkün değildir; dynamic control flow, aliasing veya numerik hassasiyet kısıtları ayrı kernel gerektirebilir.
İlgili Kavramlar
- ONNX
- Inference Engine
- Memory Bandwidth
- Kernel