Rotary Position Embedding
Döner konum gömme (Rotary Position Embedding) — Query ve key vektörlerine konuma bağlı rotasyon uygulayarak relative position bilgisini attention skorlarına taşıyan positional encoding yaklaşımı.
Yapay Zekâ Bağlamı
RoPE uzun context transformer'larında yaygınlaşmıştır. Context extension teknikleri rotation frequency ölçeklemesini değiştirerek eğitim aralığı dışındaki pozisyonlara genelleme sağlamaya çalışır.
Model ve Karar Sınırı
RoPE attention mekanizmasının kendisi değildir; attention'a position ilişkisi kazandıran bileşendir.
İlişkili Yapay Zekâ Kavramları
Rotasyonun Taşıdığı Bilgi
RoPE'de konum bilgisi embedding'e yalnız ayrı bir vektör eklenerek verilmez; query ve key bileşen çiftlerine konuma bağlı rotasyon uygulanır. İki konumdaki döndürülmüş query/key vektörlerinin iç çarpımı, mutlak konumların yanında aralarındaki göreli uzaklığa da bağlı hale gelir. Bu nedenle RoPE'nin önemli özelliği "uzun context" etiketi değil, konumu attention geometrisinin içine taşımasıdır.
Eğitimde görülen context uzunluğunun ötesine çıkmak ayrı bir problemdir. Frekans veya ölçek değiştiren context-extension yöntemleri RoPE'nin kendisiyle aynı şey değildir ve modelin eğitim dışı konumlarda aynı kaliteyi koruyacağını garanti etmez. RoPE'nin matematiksel tanımı ve relative-position özelliği Su ve arkadaşlarının RoFormer çalışmasında verilir: özgün kaynak. İlişkili kavramlar Self-Attention ve Context Window'dır.