层归一化
在每个样本内跨特征对激活值进行归一化。
概览
层归一化利用同一样本内激活值的均值和方差对层的激活值进行重新缩放，因此不依赖于批次中的其他项。它解决了批归一化在序列长度变化时表现不一致的问题，而文本中序列长度总是变化的。它作为一种按样本生效的稳定器而存在，并且此后其在块内的放置位置已被反复修改。
技术图谱
层归一化 如何与技术栈的其他部分相连。
应用于
- Deep Learning concept Algorithms 层归一化 used for Deep Learning High ✓ source
- Transformer architecture Algorithms 层归一化 used for Transformer High ✓ source
- Vanishing Gradient concept Algorithms 层归一化 solves Vanishing Gradient High ✓ source