Byte Pair Encoding
Sık tekrar eden sembol çiftlerini iteratif olarak birleştirerek subword vocabulary oluşturan tokenizasyon yaklaşımı.
Teknik Bağlam
Modern NLP uygulamalarında BPE veya türevleri, nadir kelimeleri alt parçalara bölüp sınırlı vocabulary ile geniş metin alanını kapsar. Byte-level varyantlar karakter repertuvarı sorunlarını azaltır.
Sınırlar
Klasik veri sıkıştırma BPE'si ile dil modeli tokenizer implementasyonları aynı hedef ve ayrıntılara sahip olmayabilir.
İlgili Kavramlar
- Tokenization
- Vocabulary
- Subword
- Context Window