BPE
通过合并频繁字符对来构建词表的标记化方法。
概览
字节对编码从单个字符开始，反复合并最频繁的相邻字符对，因此常见词会成为一个 token，而罕见词则由多个部分拼装而成。它解决了词表问题：词级词表无法覆盖每一个名称和屈折形式，而字符级词表又会让序列变得不必要地长。它作为大多数语言模型至今仍在使用的方案而存在，其词表大小是人为选定的，而非学习得到的。
技术图谱
BPE 如何与技术栈的其他部分相连。
应用于
- Tokenization technique Techniques BPE used for Tokenization High ✓ source
工具
实现或集成 BPE 的软件。