Dropout
在训练过程中随机将激活值置零,以减少过拟合。
概览
Dropout 在每次训练步骤中随机禁用一部分激活值,因此没有任何单元可以依赖另一个单元的存在。它解决了这样一个问题:一个大到足以拟合训练数据的网络会记住数据,而不是从中学习。它是最廉价的正则化器之一,并且在推理阶段会被关闭,此时使用完整的网络。
技术图谱
Dropout 如何与技术栈的其他部分相连。
应用于
- Deep Learning concept Algorithms Dropout used for Deep Learning High ✓ source
- Fine-tuning technique Techniques Dropout used for Fine-tuning High ✓ source
- Pretraining technique Techniques Dropout used for Pretraining High ✓ source
- Overfitting concept Algorithms Dropout solves Overfitting High ✓ source
工具
实现或集成 Dropout 的软件。