Pipeline Parallelism
Model katmanlarını farklı accelerator stage'lerine bölüp microbatch'leri ardışık pipeline boyunca işleten model-parallelism tekniği.
ML Sistemleri Bağlamı
Çok büyük modellerde cihaz başına memory gereksinimini azaltabilir; bubble, stage imbalance ve cross-stage communication throughput'u sınırlar.
Model ve Servis Sınırı
Pipeline parallelism request pipeline pattern'iyle aynı kavram değildir; model graph partitioning yaklaşımıdır.
İlişkili ML Sistem Kavramları
- Tensor Parallelism
- Data Parallelism
- Throughput
- Load Balancing
Doğrudan kaynak: Pipeline Parallelism için kullanılan teknik dayanak yukarıdaki birincil çalışma veya resmî belirtimdir.