Data Parallelism
Aynı model kopyasını birden fazla cihazda farklı veri parçaları üzerinde çalıştırıp gradient veya sonuçları senkronize eden paralelleştirme tekniği.
ML Sistemleri Bağlamı
Training'de all-reduce communication, batch size ve optimizer state ölçeklenebilirliği belirler. Inference'da bağımsız replica'lar request dağıtımı için kullanılabilir.
Model ve Servis Sınırı
Data parallelism tek bir modelin cihaz belleğine sığma problemini doğrudan çözmez.
İlişkili ML Sistem Kavramları
- Tensor Parallelism
- Pipeline Parallelism
- Distributed Training
- Throughput