梯度下降
沿减小损失的方向更新权重。
概览
梯度下降沿着梯度的反方向对每个权重做一小步调整，如此反复，直到损失不再下降。它解决了在一个大到无法穷举搜索的空间中寻找良好配置的问题。它是优化器家族中最简单的成员，而实际工作在于选择步长、批量大小和调度策略，而非更新规则本身。
技术图谱
梯度下降 如何与技术栈的其他部分相连。
使用与依赖
- Learning Rate concept Algorithms 梯度下降 uses Learning Rate High ✓ source
应用于
- Fine-tuning technique Techniques 梯度下降 used for Fine-tuning High ✓ source
- Pretraining technique Techniques 梯度下降 used for Pretraining High ✓ source