Tokenization

Tokenleştirme (Tokenization) — Metin veya başka sembolik girdiyi modelin işlediği ayrık token kimliklerine dönüştürme işlemi.

Büyük Dil Modeli Bağlamı

Subword tokenizasyon bilinmeyen kelime sorununu azaltır ve vocabulary boyutunu kontrol eder. Token sayısı context window tüketimini, inference maliyetini ve bazı dillerde verimliliği etkiler.

Bağlam ve Çıkarım Sınırı

Token kelime ile aynı şey değildir; bir kelime birden fazla tokena, bir token birden fazla karaktere karşılık gelebilir.

İlişkili LLM Kavramları

• Byte Pair Encoding
• Context Window
• Embedding
• Language Model

İlgili teknik yazı: Yapay Zeka: Felsefe, Kuram ve Uygulama.