Data Parallelism
Aynı model kopyasını birden fazla cihazda farklı veri parçaları üzerinde çalıştırıp gradient veya sonuçları senkronize eden paralelleştirme tekniği.
Teknik Bağlam
Training'de all-reduce communication, batch size ve optimizer state ölçeklenebilirliği belirler. Inference'da bağımsız replica'lar request dağıtımı için kullanılabilir.
Sınırlar
Data parallelism tek bir modelin cihaz belleğine sığma problemini doğrudan çözmez.
İlgili Kavramlar
- Tensor Parallelism
- Pipeline Parallelism
- Distributed Training
- Throughput