SFT只会“死记硬背”?NUS、耶鲁团队:数据对齐后,泛化反超RL

账号已注销·2026年11月18日 17:09
重新审视 RL 与 SFT 的泛化差异。

监督微调(SFT)只会“死记硬背”,强化学习(RL)才能学会泛化?

这一判断在大模型推理研究中颇具影响力。然而,如果 SFT 接触的训练数据与 RL 并不相当,那么,两者之间的差距,究竟有多少来自训练方式,又有多少来自数据?

来自新加坡国立大学(NUS)、耶鲁大学等的研究团队,在 Qwen2.5 和 Qwen3 系列模型上重新检验了这个问题。他们发现,当训练数据经过恰当混合,并且生成轨迹总预算与 RL 对齐时,SFT 的泛化表现可以超过 RL。

论文链接:https://arxiv.org/abs/2611.14912

他们考察了数据来源,以及模型实际接触的数据规模。

强化学习(Reinforcement Learning,RL)与监督微调(Supervised Fine-Tuning,SFT)都能提升大模型的推理能力。此前的比较研究发现,SFT 在训练领域之外的推理任务上,往往难以达到 RL 的水平。他们追问的是,这些比较是否已经充分释放了 SFT 的潜力,尤其是否提供了相当的数据资源。

首先需要检验的,是生成训练答案的模型。他们选择了两种数据来源。一种来自能力较强的 Qwen3-14B,另一种来自经过 RL 微调的基座模型。两种数据集都为每条问题 prompt 配对一条正确的生成轨迹,也就是模型生成的一次完整解答。随后,他们使用这些数据分别进行 SFT,并通过通用推理任务考察泛化表现。结果显示,更强的模型未必提供更好的数据。

两种 SFT 模型的泛化表现都落后于 RL 模型,但使用 RL 微调模型生成的数据,效果优于使用 Qwen3-14B 生成的数据。进一步按照不同比例混合两种来源后,适量加入更多样化的数据,又能继续改善通用推理表现。

图|使用不同混合比例数据集进行 SFT 后的模型性能比较

不过,仅仅调整来源,仍未消除 SFT 与 RL 的差距。另一个问题随之出现,两者即使使用相同的问题,是否也接触了相同数量的解答?

问题数量与生成轨迹数量,是不同的比较标准。围绕同一道题,模型可以生成多条解答。仅仅对齐问题 prompt,并不能保证两种训练方式实际使用的轨迹数量一致。

为此,他们依据三种标准调整 SFT 数据规模,分别对齐可解问题的数量、正确生成轨迹的数量,以及生成轨迹的总数量。

随着对齐标准改变,SFT 的泛化表现也发生了变化。将正确生成轨迹的数量与 RL 对齐后,SFT 的泛化能力获得较大改善。进一步对齐生成轨迹总数后,SFT 达到了和 RL 相当的泛化水平。

图|当不同训练因素与 RL 对齐时,SFT 模型在数学及更广泛推理基准上的性能比较

而当数据规模与数据来源的调整结合起来,采用两种来源的混合数据,并对齐生成轨迹总数时,SFT 的泛化表现超过了 RL。

图|使用扩大规模、混合比例不同的训练数据集进行 SFT 后的模型性能比较

数据规模为什么会影响训练领域之外的推理表现?他们将分析推进到了解题方法本身。

他们利用大语言模型(LLM)标注训练轨迹中的解题方法,发现这些方法呈现长尾分布。扩大数据集后,训练数据能够覆盖更多处于分布尾部的方法。

图|由LLM标注的解题方法分布与覆盖情况

这些新增覆盖的方法,也出现在后续的通用推理任务中。通过继续标注评估阶段的生成轨迹,他们发现,随着训练数据规模扩大,模型使用长尾方法的频率增加,借助这些方法解决的问题也更多。

图|长尾方法使用情况统计

由此,他们认为,扩大数据集能够提高对长尾推理模式的覆盖程度,而这些方法提供了可以迁移到其他任务的推理信号。

他们还通过浅层 transformer 的训练动态分析,为这一解释提供了理论支持。在所分析的长尾数据设置下,SFT 与 RL 都能在分布内问题上取得较高准确率。但当解题方法覆盖不足时,SFT 在分布外问题上的泛化表现弱于 RL。随着更多方法得到覆盖,SFT 可以达到与 RL 相当的泛化水平。

因此,他们指出,数据来源和数据规模,都会影响 SFT 的泛化能力,当使用经过精心混合的数据集,并将生成轨迹预算与 RL 对齐时,SFT 的泛化能力甚至可以优于 RL。

这项研究的一项局限是,他们仅关注LLM。将分析扩展到扩散模型等其他生成模型,是未来有待开展的工作。

本文来自微信公众号 “学术头条”(ID:SciTouTiao),作者:张佳怡,36氪经授权发布。

+1
6

好文章,需要你的鼓励

参与评论
评论千万条,友善第一条
后参与讨论
提交评论0/1000

36氪AI测评

选靠谱AI,看真实评测
查看
36氪AI测评官方交流社区
加入

36氪项目推荐

咨询项目审核和入驻
联系
36氪项目推荐订阅号
关注

下一篇

大鹏一日同风起,扶摇直上九万里。

12小时前

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

推送和解读前沿、有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚焦全球优秀创业者,项目融资率接近97%,领跑行业