残差连接
将某一层的输入加到其输出上，使梯度能够原样通过。
概览
残差连接将块的输入加到其输出上，因此块学习的是修改而非替换。它解决了随深度增加梯度消失的问题，而梯度消失会导致极深的网络根本无法训练。它作为使深度变得可行的变革而存在，这也是为什么transformer块被画成加法而非序列的原因。
技术图谱
残差连接 如何与技术栈的其他部分相连。
应用于
- Deep Learning concept Algorithms 残差连接 used for Deep Learning High ✓ source
- Vanishing Gradient concept Algorithms 残差连接 solves Vanishing Gradient High ✓ source
Classification
- Transformer architecture Algorithms 残差连接 part of Transformer High ✓ source