Self-Attention
Aynı dizideki öğelerin birbirleriyle attention ilişkisi kurarak bağlamsal temsil üretmesi.
Yapay Zekâ Bağlamı
Her token kendi query'si ile diğer tokenların key'lerini karşılaştırır ve value birleşimi oluşturur. Causal mask, gelecekteki tokenlara erişimi engelleyerek autoregressive üretimi mümkün kılar.
Model ve Karar Sınırı
Standart tam self-attention diz uzunluğuna göre karesel attention matrisi maliyeti oluşturabilir; modern implementasyonlar bellek ve kernel optimizasyonları kullanır.
İlişkili Yapay Zekâ Kavramları
Doğrudan kaynak: Self-Attention için kullanılan teknik dayanak yukarıdaki birincil çalışma veya resmî belirtimdir.