注意力
一种机制，根据输入各部分与其他所有部分的相关性为其分配权重。
概览
注意力是一种机制，它让模型能够权衡序列中每个位置对其它每个位置的重要性，而不是将整个输入压缩成一个固定向量。它解决了早期编码器-解码器模型在长输入上丢失细节的信息瓶颈问题。它之所以存在，是因为相关性并非均匀分布：在预测一个词时，实际上只有少数几个较早的词是重要的，而注意力让模型能够学习到哪些词重要。缩放点积注意力是现代语言模型中普遍使用的具体公式。
技术图谱
注意力 如何与技术栈的其他部分相连。
使用与依赖
- Transformer architecture Algorithms Transformer based on 注意力 High ✓ source
被用于
- Image Generation application Applications 注意力 used by Image Generation High ✓ source
- LLaVA model Multimodal 注意力 used by LLaVA High ✓ source
- Multimodal AI application Multimodal 注意力 used by Multimodal AI High ✓ source
- Speech Recognition application Applications 注意力 used by Speech Recognition High ✓ source
应用于
- Softmax concept Algorithms Softmax used for 注意力 High ✓ source
工具
实现或集成 注意力 的软件。