Multi-Head Attention | Mühendislik Wiki

Çok başlı dikkat (Multi-Head Attention) — Attention işlemini farklı öğrenilmiş projeksiyonlarda paralel başlıklar halinde yürüterek farklı ilişki örüntülerini temsil eden mekanizma.

Yapay Zekâ Bağlamı

Her head ayrı query-key-value altuzayında çalışır; sonuçlar birleştirilip yeniden projekte edilir. Başlık sayısı, head dimension ve grouped/multi-query varyantları KV cache maliyetini etkileyebilir.

Model ve Karar Sınırı

Daha fazla head otomatik olarak daha iyi model anlamına gelmez; toplam hidden dimension ve mimari kısıtlarla birlikte değerlendirilir.

İlişkili Yapay Zekâ Kavramları

Self-Attention
KV Cache
Transformer
Grouped-Query Attention

Doğrudan kaynak: Multi-Head Attention için kullanılan teknik dayanak yukarıdaki birincil çalışma veya resmî belirtimdir.