监督微调
在目标行为演示上微调预训练模型。
概览
监督微调是在任何偏好优化之前，使用展示所需行为的输入输出对来训练预训练模型。它解决了这样一个问题：一个被训练用于续写文本的模型没有回答的概念，因此任何助手流程首先需要的是答案示例。它作为这样一个阶段存在：既能独立产生一个可用的模型，又能提供随后用于训练偏好模型的输出。
技术图谱
监督微调 如何与技术栈的其他部分相连。
使用与依赖
- Fine-tuning technique Techniques 监督微调 based on Fine-tuning High ✓ source
Classification
- RLHF technique Techniques 监督微调 part of RLHF High ✓ source