Self-Attention
Aynı dizideki öğelerin birbirleriyle attention ilişkisi kurarak bağlamsal temsil üretmesi.
Teknik Bağlam
Her token kendi query'si ile diğer tokenların key'lerini karşılaştırır ve value birleşimi oluşturur. Causal mask, gelecekteki tokenlara erişimi engelleyerek autoregressive üretimi mümkün kılar.
Sınırlar
Standart tam self-attention diz uzunluğuna göre karesel attention matrisi maliyeti oluşturabilir; modern implementasyonlar bellek ve kernel optimizasyonları kullanır.
İlgili Kavramlar
- Attention
- Transformer
- Context Window
- KV Cache