Rotary Position Embedding
Query ve key vektörlerine konuma bağlı rotasyon uygulayarak relative position bilgisini attention skorlarına taşıyan positional encoding yaklaşımı.
Teknik Bağlam
RoPE uzun context transformer'larında yaygınlaşmıştır. Context extension teknikleri rotation frequency ölçeklemesini değiştirerek eğitim aralığı dışındaki pozisyonlara genelleme sağlamaya çalışır.
Sınırlar
RoPE attention mekanizmasının kendisi değildir; attention'a position ilişkisi kazandıran bileşendir.
İlgili Kavramlar
- Self-Attention
- Context Window
- KV Cache
- Transformer