Hugging Face 发布 Agent 后训练课程：从 SFT 到在真实外围系统里做 RL
Hugging Face 10 月 20 日发布一份 Agent 后训练课程，配合「Training Agents」直播系列，以编码 Agent 为例，把后训练拆成五步：SFT、蒸馏、GRPO 强化学习、在 OpenEnv 环境中做多轮 RL、以及在真实 Agent 外围系统中大规模训练，每步对应一个 TRL 训练器。
要点
- SFT 便宜稳定，但模型只见过正确轨迹，学不会从自己的错误中恢复，所以后续阶段要在模型自己的输出上训练
- 蒸馏给出逐 token 的密集信号、样本需求少，但学生受限于老师，在线蒸馏每步都要运行老师模型
- 多轮环境中 rollout 生成成为最慢环节；最后一步把生成和训练放在不同 GPU，用 AsyncGRPOTrainer 训练
- 课程本身不报告基准分数，每步附带脚本、数据集合集和文档链接
为什么值得关注
想用开源模型训练自家 Agent 的团队，可以按这五步判断自己需要哪一级：有好轨迹就先 SFT，有可验证的奖励再上 RL，真要上线再在同一套外围系统里训练。
来源
### [Hugging Face 发布 Agent 后训练课程：从 SFT 到在真实外围系统里做 RL]({{URL}})
Hugging Face 10 月 20 日发布一份 Agent 后训练课程，配合「Training Agents」直播系列，以编码 Agent 为例，把后训练拆成五步：SFT、蒸馏、GRPO 强化学习、在 OpenEnv 环境中做多轮 RL、以及在真实 Agent 外围系统中大规模训练，每步对应一个 TRL 训练器。
- SFT 便宜稳定，但模型只见过正确轨迹，学不会从自己的错误中恢复，所以后续阶段要在模型自己的输出上训练
- 蒸馏给出逐 token 的密集信号、样本需求少，但学生受限于老师，在线蒸馏每步都要运行老师模型
- 多轮环境中 rollout 生成成为最慢环节；最后一步把生成和训练放在不同 GPU，用 AsyncGRPOTrainer 训练
- 课程本身不报告基准分数，每步附带脚本、数据集合集和文档链接
**为什么值得关注**：想用开源模型训练自家 Agent 的团队，可以按这五步判断自己需要哪一级：有好轨迹就先 SFT，有可验证的奖励再上 RL，真要上线再在同一套外围系统里训练。
来源：[A curriculum for post-training agents](https://huggingface.co/blog/huggingface/train-agents)