位置编码
一个本身不具备顺序概念的transformer如何学习token的位置。
概览
位置编码注入了关于 token 位置的信息，因为注意力本身具有置换不变性，否则它看到的将是一袋词。它解决了这样一个问题：在语言中，顺序承载了大部分含义，而这一机制中却完全没有体现顺序。它之所以存在，是因为这是原始架构中被大幅修订的少数几个地方之一，因为位置如何表示决定了模型对长于其训练序列的序列的外推能力有多好。
技术图谱
位置编码 如何与技术栈的其他部分相连。
Classification
- Transformer architecture Algorithms 位置编码 part of Transformer High ✓ source
工具
实现或集成 位置编码 的软件。