学习率
每个梯度步使权重移动多远。
概览
学习率决定了沿梯度方向迈出的步长大小。它本身并不能解决任何问题，但却是最具影响力的单个训练设置：过大则损失发散，过小则训练永远无法完成。它正是各种调度策略和预热机制存在的原因，因为最佳取值会在整个训练过程中不断变化。
技术图谱
学习率 如何与技术栈的其他部分相连。
被用于
- Gradient Descent technique Algorithms 学习率 used by Gradient Descent High ✓ source
应用于
- Fine-tuning technique Techniques 学习率 used for Fine-tuning High ✓ source
- Pretraining technique Techniques 学习率 used for Pretraining High ✓ source