多头注意力
在不同的投影上并行运行多个注意力操作。
概览
多头注意力将表示拆分为若干子空间，在每个子空间中独立运行注意力，再拼接结果。它解决了单一注意力分布不得不在一个权重中平均处理互不兼容的关系类型——句法的、语义的、位置的——这一问题。它之所以存在，是因为在相同开销下，若干个窄注意力优于一个宽注意力。
技术图谱
多头注意力 如何与技术栈的其他部分相连。
Classification
- Transformer architecture Algorithms 多头注意力 part of Transformer High ✓ source
工具
实现或集成 多头注意力 的软件。