Pipeline Parallelism
Model katmanlarını farklı accelerator stage'lerine bölüp microbatch'leri ardışık pipeline boyunca işleten model-parallelism tekniği.
Teknik Bağlam
Çok büyük modellerde cihaz başına memory gereksinimini azaltabilir; bubble, stage imbalance ve cross-stage communication throughput'u sınırlar.
Sınırlar
Pipeline parallelism request pipeline pattern'iyle aynı kavram değildir; model graph partitioning yaklaşımıdır.
İlgili Kavramlar
- Tensor Parallelism
- Data Parallelism
- Throughput
- Load Balancing