Token
语言模型读写文本的单位。
概览
Token 是语言模型操作的单位，通常是一个词或词的一部分。它解决了字符粒度过细、词粒度过粗而无法形成固定词表的问题。它作为一种实现细节存在，但其影响会触及用户：它决定了模型能拼写什么、成本是多少、上下文有多长，以及为什么模型可能会在从未见过其 token 化形式的字符串上失败。
技术图谱
Token 如何与技术栈的其他部分相连。
Classification
- LLM concept Models Token part of LLM High ✓ source
- Tokenization technique Techniques Token part of Tokenization High ✓ source