Semantic Chunking
Uzun metni yalnız sabit karakter veya token sayısına göre değil, konu ve anlam sınırlarını koruyacak bölümlere ayırma yaklaşımı.
Retrieval sisteminde chunk sınırı cümlenin, paragrafın veya teknik açıklamanın ortasına düştüğünde embedding yeterli bağlamı taşımayabilir. Semantic chunking başlık, paragraf, konu geçişi ve gerektiğinde embedding benzerliği gibi sinyallerle birbirine ait bölümlerin aynı parçada kalmasını amaçlar.
Daha büyük chunk her zaman daha iyi değildir; fazla bağlam vektörü seyreltebilir ve alakasız bölümlerin aynı sonuçta taşınmasına yol açabilir. Bu nedenle chunk boyutu retrieval ölçümleri ve gerçek sorgu dağılımıyla doğrulanmalıdır. FAISS ile vektörel aramada indeks mimarisi retrieval tarafındaki sonraki aşamayı temsil eder.