分词
将文本拆分为语言模型实际读取的子词单元。
概览
分词将文本切分为模型所消费的子词单元，通常的选取方式是让常见词成为一个 token，而罕见词则由片段拼装而成。它解决了词表问题：词级别的词表无法覆盖所有名称和词形变化，而字符级别的词表又会让序列变得不必要地长。它之所以存在，是因为它位于原始文本与模型之间，而它的选择会影响上下文限制、定价以及模型处理异常字符串的能力。
技术图谱
分词 如何与技术栈的其他部分相连。
将文本拆分为语言模型实际读取的子词单元。
分词将文本切分为模型所消费的子词单元，通常的选取方式是让常见词成为一个 token，而罕见词则由片段拼装而成。它解决了词表问题：词级别的词表无法覆盖所有名称和词形变化，而字符级别的词表又会让序列变得不必要地长。它之所以存在，是因为它位于原始文本与模型之间，而它的选择会影响上下文限制、定价以及模型处理异常字符串的能力。
分词 如何与技术栈的其他部分相连。