Cache Stampede

Türkçe karşılığı: Önbellek izdihamıAlan: Dağıtık Sistemler

Popüler bir cache kaydı aynı anda expire olduğunda çok sayıda isteğin aynı pahalı veriyi origin kaynaktan eşzamanlı yeniden üretmesi.

Dağıtık Sistem Bağlamı

Request coalescing, single-flight, stale-while-revalidate ve randomized TTL origin yükünü azaltabilir. Hot key'lerde cache miss kısa süreli olsa bile database'i overload edebilir.

Tutarlılık ve Hata Modeli Sınırı

Cache stampede genel cache miss oranından farklıdır; belirli anahtar üzerinde korelasyonlu eşzamanlı miss söz konusudur.

İlişkili Dağıtık Sistem Kavramları

Tek Bir Hot Key Neden Orantısız Yük Üretebilir?

Basit bir kapasite modeli bu arızanın neden keskin olduğunu gösterir. Bir anahtar saniyede λ istek alıyor ve değerin yeniden üretilmesi S saniye sürüyorsa, expiry anında koruma yokken yaklaşık λ×S istemci aynı pahalı işi örtüşen biçimde başlatabilir. Bu bir kesin üst sınır değildir; arrival dağılımı ve uygulama davranışına bağlı kaba bir eşzamanlılık göstergesidir.

Single-flight/request coalescing aynı anahtar için üretimi tek işe indirebilir; randomized TTL farklı anahtarların aynı anda düşmesini azaltır; stale-while-revalidate ise eski değeri kısa süre servis ederek yeniden üretimi kullanıcı gecikmesinden ayırabilir. Cache stampede bu nedenle genel cache miss oranından ve Thundering Herd probleminden daha spesifik, anahtar-merkezli bir korelasyon sorunudur. Probabilistic early expiration yaklaşımı ve problem tanımı için: Vattani et al..