Attention
Modelin bir çıktı üretirken girdinin farklı bölümlerine veri bağımlı ağırlıklar atamasını sağlayan mekanizma ailesi.
Teknik Bağlam
Query, key ve value temsilleri üzerinden benzerlik skorları hesaplanır; normalize edilen ağırlıklarla value bileşenleri birleştirilir. Bu yapı dizide hangi bilginin hangi bağlamda önemli olduğunu dinamik belirler.
Sınırlar
Attention ağırlığını doğrudan insan düzeyinde açıklama veya nedensellik göstergesi kabul etmek genellikle güvenilir değildir.
İlgili Kavramlar
- Self-Attention
- Multi-Head Attention
- Transformer
- Embedding