Tokenization
Metin veya başka sembolik girdiyi modelin işlediği ayrık token kimliklerine dönüştürme işlemi.
Teknik Bağlam
Subword tokenizasyon bilinmeyen kelime sorununu azaltır ve vocabulary boyutunu kontrol eder. Token sayısı context window tüketimini, inference maliyetini ve bazı dillerde verimliliği etkiler.
Sınırlar
Token kelime ile aynı şey değildir; bir kelime birden fazla tokena, bir token birden fazla karaktere karşılık gelebilir.
İlgili Kavramlar
- Byte Pair Encoding
- Context Window
- Embedding
- Language Model