反向传播
通过反向应用链式法则在网络中计算梯度。
概览
反向传播通过从输出到输入应用链式法则，并复用中间值，来计算损失相对于每个权重的导数。它解决了朴素地对深层复合函数求导需要指数级多次求值的问题。它作为使多层网络训练变得可行的算法而存在，而每个框架本质上都是它的高效实现。
技术图谱
反向传播 如何与技术栈的其他部分相连。
使用与依赖
- Vanishing Gradient concept Algorithms Vanishing Gradient based on 反向传播 High ✓ source
应用于
- Neural Network concept Algorithms 反向传播 used for Neural Network High ✓ source
- Pretraining technique Techniques 反向传播 used for Pretraining High ✓ source