HNSW
Yaklaşık en yakın komşu aramasında çok katmanlı yakınlık grafiği kullanan, yüksek recall ile düşük arama gecikmesini hedefleyen indeks yapısı.
Arama Yapısı
HNSW, vektörleri çok katmanlı bir yakınlık grafiğinde tutar. Üst katmanlar daha seyrek bağlantılarla uzun sıçramalar yaparak sorguyu uygun bölgeye taşır; alt katmanlar daha yoğun komşuluk üzerinden adayları ayrıntılı biçimde genişletir.
Bu yaklaşım tam tarama yerine yaklaşık en yakın komşu araması yapar. Sonuç kalitesi ile maliyet parametrelerle yönetilir.
Temel Parametreler
M, düğüm başına bağlantı yoğunluğunu; efConstruction, indeks oluştururken araştırılan aday genişliğini; efSearch ise sorgu sırasında tutulan aday kümesini etkiler. Daha yüksek değerler genellikle recall'ı artırırken bellek, build süresi veya sorgu maliyetini yükseltir.
Sistem Düzeyindeki Sınır
HNSW yalnız algoritmik latency değildir. Büyük indekslerde graph bağlantıları önemli bellek tüketebilir; filtreli arama, güncelleme ve silme davranışı kullanılan ürüne göre değişebilir. Bu nedenle parametre seçimi gerçek veri ve hedef recall üzerinde ölçülmelidir.
İlgili Kavramlar
Kaynak
- https://arxiv.org/abs/1603.09320
İlgili teknik yazı: Yapay Zeka: Felsefe, Kuram ve Uygulama.