分词器
将文本转换为token并转换回来的组件。
概览
分词器应用分词方案学到的词表，将输入文本拆分为 token id，并将 id 重新拼接为文本。它解决了原始字符串与模型所消费的整数序列之间的接口问题。它作为独立于权重的产物存在，这就是为什么检查点只有与其训练时所用的分词器配合才能使用。
技术图谱
分词器 如何与技术栈的其他部分相连。
工具
实现或集成 分词器 的软件。
将文本转换为token并转换回来的组件。
分词器应用分词方案学到的词表，将输入文本拆分为 token id，并将 id 重新拼接为文本。它解决了原始字符串与模型所消费的整数序列之间的接口问题。它作为独立于权重的产物存在，这就是为什么检查点只有与其训练时所用的分词器配合才能使用。
分词器 如何与技术栈的其他部分相连。
实现或集成 分词器 的软件。