蒸馏
训练一个小模型以复现大模型的行为。
概览
蒸馏训练一个较小的学生模型，使其匹配较大教师模型的输出或完整概率分布。它通过将大模型的行为迁移到运行成本更低的模型上，解决了在生产环境中服务大模型的成本问题。它之所以存在，是因为教师模型在错误答案上的分布携带了硬标签所不具备的信息，因此学生模型可以从每个样本中学到比标签本身所揭示的更多内容。
技术图谱
蒸馏 如何与技术栈的其他部分相连。
使用与依赖
- Synthetic Data technique Techniques 蒸馏 uses Synthetic Data High ✓ source