前馈网络
每个 transformer block 内部的位置级全连接层。
概览
前馈网络是应用于 transformer 内部每个位置的两层全连接模块，通常先将维度扩展到模型维度的数倍，再投影回来。它解决了注意力只在位置之间混合信息、自身不进行任何变换的问题。它构成了 transformer 参数的大部分，这也是为什么混合专家模型替换的是这一层，而不是注意力。
技术图谱
前馈网络 如何与技术栈的其他部分相连。
Classification
- Transformer architecture Algorithms 前馈网络 part of Transformer High ✓ source