Continuous Batching

Sürekli batching (Continuous Batching) — LLM inference scheduler'ın tamamlanmış sequence'leri batch'ten çıkarıp yeni istekleri decode döngüsüne dinamik olarak ekleyebildiği batching yaklaşımı.

ML Sistemleri Bağlamı

Request uzunlukları heterojen olduğunda static batch'in en uzun sequence'i bekleme problemini azaltır. Throughput, time-to-first-token ve inter-token latency arasında scheduler trade-off'u oluşturur.

Model ve Servis Sınırı

Batch'i büyütmek her zaman latency'yi iyileştirmez; queueing ve KV cache kapasitesi birlikte sınır koyar.

İlişkili ML Sistem Kavramları

• Paged Attention
• KV Cache
• Throughput
• Tail Latency

Doğrudan kaynak: Continuous Batching için kullanılan teknik dayanak yukarıdaki birincil çalışma veya resmî belirtimdir.