Scaling Laws
模型规模、数据、计算量与损失之间的经验关系。
概览
Scaling laws 描述了模型的损失如何随着参数、数据和计算量的增加而下降，以及它们之间的权衡关系。它们解决了在花费固定预算之前如何决定这笔预算怎么花的问题：是训练一个更大的模型但用更少的数据，还是训练一个更小的模型但训练更久。它们之所以成立，是因为这种关系在多个数量级上足够平滑且可预测，从而可以被外推，这也正是使前沿训练成为一项规划工作而非一场赌博的原因。
技术图谱
Scaling Laws 如何与技术栈的其他部分相连。
使用与依赖
- Transformer architecture Algorithms Scaling Laws based on Transformer High ✓ source
应用于
- Pretraining technique Techniques Scaling Laws used for Pretraining High ✓ source