RoPE
旋转位置嵌入，将位置编码为查询和键的旋转。
概览
RoPE 通过将与位置成正比的角度的旋转应用于 token 的 query 和 key 向量来编码其位置，因此注意力分数取决于相对距离而非绝对索引。它解决了学习到的绝对位置嵌入无法迁移到比训练时所见序列更长序列的问题。它之所以存在，是因为相对几何关系具有更好的外推能力，而且它是当前大多数模型所采用的方法。
技术图谱
RoPE 如何与技术栈的其他部分相连。
应用于
- Transformer architecture Algorithms RoPE used for Transformer High ✓ source
工具
实现或集成 RoPE 的软件。