自注意力
在同一序列中，每个位置都由其他所有位置加权。
概览
自注意力机制为每个位置计算序列中所有位置的加权和，其中权重来自比较它们的查询向量和键向量。它解决了循环模型在继续处理之前必须将所有已见内容压缩到一个状态中的问题。它作为消除这一瓶颈的机制而存在，也正是它使得 transformer 的成本随序列长度的平方增长。
技术图谱
自注意力 如何与技术栈的其他部分相连。
Classification
- Transformer architecture Algorithms 自注意力 part of Transformer High ✓ source
工具
实现或集成 自注意力 的软件。