梯度消失
梯度在穿过许多层时逐渐缩小至零。
概览
梯度消失问题是指梯度在乘以许多小导数后，在到达早期层之前衰减至零，导致这些层停止学习。它本身并不能解决任何问题；它正是多年来极深网络无法训练的原因。它作为残差连接、门控和归一化各自被引入以解决的问题而存在。
技术图谱
梯度消失 如何与技术栈的其他部分相连。
使用与依赖
- Backpropagation technique Algorithms 梯度消失 based on Backpropagation High ✓ source
应用于
- Layer Normalization concept Algorithms Layer Normalization solves 梯度消失 High ✓ source
- Residual Connection concept Algorithms Residual Connection solves 梯度消失 High ✓ source