DeepSeek “推倒重来”
全网对
相较于V4 Flash,V4.1 Flash最大的特点是推倒重来,采用了和V4 Flash完全不同的非对称结构。
这也就是说,V4在结构上积累的训练配方、优化技巧、工程适配,到了V4.1这里,大部分都作废了。
现在的
新结构听起来确实很像一个营销用的噱头,不过答案其实就在
那么这个新的目标又是什么呢?我认为,很可能是“入口”。
DeepSeek为什么要推倒重来?
通常来讲,先有模型,后有Harness。厂商根据模型的能力和特点来构建Harness。然而
官方论文表示,V4.1 Flash的后训练遵循标准的SFT→ RL→ 在线蒸馏(OPD)范式,没有任何算法改动。关键的地方在于,所有实质性变化都在数据流水线当中,大规模自动合成Agent任务与环境,数据、任务、rollout渐进式扩增。
RL训练时让模型在6种不同的Agent框架里反复试错,数据量、任务种类、试错轮次一路放大。DSH是这6个训练场里最重要的一个,V4.1 Flash还专门针对DSH的不同操作模式做了定向训练。
DSH从
为了满足DSH的偏好,
论文里是这么介绍的,新结构让模型在prefill阶段每token只需要激活8B的参数、decode阶段激活16B,进而大幅改善“输入密集的agent工作负载”的成本效率。
为什么“输入密集”会成为麻烦?
过去的模型结构是为"聊天"设计的,用户问一句,模型答一句。这就造成了输入短、输出长,模型只会记住当前这一轮对话的上下文。
但在Agent时代,几十轮的中间状态一直挂在上下文里,输入动辄几十万token,远大于输出。
2026年4月,密歇根大学、斯坦福大学等院校联合发布论文《AI是怎么花你钱的?》(How Do AI Agents Spend Your Money?),其中就提到这样一件事,在agentic代码任务中,输入与输出的token比高达154:1。
于是
V4.1 Flash的语言主干共40层,如果按照以前的Transformer(decoder-only)那样,这40层应该是一模一样的。每一层都同时负责“读”和“写”,同时处理给它的输入,也处理输出,而且每一层都要自己攒一份KV Cache。
CED的“非对称”,指的是把这40层拆成前20层编码器、后20层解码器,编码器只负责“读”,把输入压成摘要,解码器只负责“写”,照着摘要生成回答。
就像汽车的流水线一样。过去是一个车间完成所有活,想增加产能就得一直复制这一个车间。现在是流水线,冲压车间就负责冲压,电泳车间就负责电泳。
并且记忆只产生一次,解码器的全局KV Cache直接从编码器的最终结果投影出来。
这是因为
V4的时候
依然是像汽车流水线一样,CSA2中把这40层分成了三个不同的车间,分别为Full、Reindex和Reuse。
Full负责完整记录,就像传统Transformer的每一层一样。Reindex负责提炼重点,再根据提炼的结果做事。Reuse则直接照着Full的技术抄,连提炼都省了。
虽然说除了第一层用Full,剩下39层全用Reuse是最节省成本的做法,但每层关注的重点不同,能力也不同,浅层做的是“字面理解”,深层做的是“逻辑推理”,它们需要的上下文内容不同。如果全用Reuse只会生成没有价值的回答。
去年还是先有车、再修路,今年已经是先修路,再造车。
模型性能强弱、性价比高低,都不是叙事的核心,唯有掌握了入口,才能吸引更多用户。
但梁文锋不是第一个这么做的,姚顺雨的Hy4 preview走在他之前。
Hy4 preview官方技术报告里表示,通过腾讯内部的软件工程师、游戏开发者、金融分析师、安全专家,围绕他们真正交付的工作共建数据,再和CodeBuddy、
在163名内部专家参与的203个真实工程任务盲测中,Hy4 preview平均2.99分,GLM-5.3是2.92,
入口的重要性不言而喻,腾讯产品矩阵的优势得以发挥。
DSH和
有意思的是,2026年7月24日,腾讯撤销大语言模型部和多模态模型部,合并成立基础模型部,姚顺雨统一负责。他将混元多模态的发展重点,放在了Agent强相关的多模态理解上,和梁文锋此前对多模态的看法一致。
现如今,梁文锋又在模型上靠拢了姚顺雨,互相学习。
智谱与Kimi有类似的闭环吗?
智谱和月之暗面这两家不是没有工具,
但这些工具没办法像DSH和
智谱现在把所有精力都放在了模型自进化上。8月31日,在智谱半年度业绩会上,唐杰首次明确表示,GLM-6.0是一款Full Self-Training(完全自训练)模型,与OpenAI的RSI(Recursive Self-Improvement,递归自我改进)相似。
唐杰表示,从预训练、中训练到后训练,全流程让模型自己训自己,不再靠人写代码、清洗数据、调参、设计实验。人只负责给模型定目标,以及做最后的验收工作。
在GLM-5.3上,智谱就已经展示过他们自进化方法的一部分了。GLM-5.3和5.2使用的基座相同,但是性能却大幅提升。
具体情况是这样的,GLM-5.3建了一套端到端的任务环境合成流水线,Agent从真实世界的软件工程和终端操作场景收集种子任务,接下来模型自己头脑风暴,生成大量可验证的任务草稿,再构建做题用的Agent,把这些草稿实例化成具体的可运行环境。
将Agent输出的回答进行精炼,根据研究员定义的评分标准,检查并迭代优化任务质量。
最终就产出了数千个多样化、可验证的终端Agent环境。GLM-5.3的长程任务环境数量是GLM-5.2的几十倍,而且都是Agent自己建的。
月之暗面走的是“在自建合成环境里把Agent能力练到极致”的路线,相当于是闭关修炼。
具体做法是通过AgentENV来完成模型的训练,这是基于Firecracker微虚拟机的分布式沙箱系统,
在K3训练期间跑了5100万个沙箱,支持暂停、恢复、复制、快照,专门解决长程Agent强化学习里“任务跑不完、环境容易污染”的基础设施难题。
Agent的强化学习训练和普通大模型RL不一样。普通RLHF就是给模型一个prompt,模型生成一段回答,打个分,更新参数。环境是无状态的,跑完就完了。
但Agent训练不一样。模型要在一个真实的运行环境里干活,一个任务可能跑几十步甚至几百步,持续几分钟到几小时。
如果在干活过程中,模型发现缺少某个依赖,那么它会为了完成任务,自己在沙箱里装个依赖、改个配置文件。
虽然任务完成了,不过这个环境也就改变了,即环境被污染了。那么下一轮训练不能接着用,得重新起一个干净环境。重起的过程大约需要几秒,虽然不长,可大规模训练时就会浪费大量时间。
就像学开车一样,如果你一上来就从科目三开始,那必定会成为马路杀手。所以就需要驾校,准备一个不会有行人和来往车辆的空地,练习起步、上坡和侧方停车。
AgentENV就是
所以智谱和月之暗面不是没有闭环,只是这个闭环没有触达外界,练得再好也是闭关修炼。
DSH和
梁文锋要抢入口
就在
DSH在刚发布的时候,与其说它是一个产品,倒不如说它是一个属于极客的玩具。就连安装都能难倒一大片。
DSH的理念是一切皆插件,需要用什么插件,DSH自己安装,用完了再删除。结果就是真正好用的插件,全是社区提供的,包括连UI都是。
到了0.1.5版本,DSH已经从“框架”逐渐蜕变成了“产品入口”。除了适配V4.1 Flash以外,全是终端用户产品功能。
举个例子,0.1.5版本中,Agent可以显式交付文件。生成的代码、文档、分析报告直接作为文件出现在侧边栏,用户可以预览、打开、定位到本地文件夹。
以前的DSH里,Agent只能输出文字和代码到回答框里,用户必须得亲自复制粘贴到文件里才行。
不仅如此,新版本还有一个极其实用的功能,叫做“支持在保留已有KV Cache的情况下更新系统提示词”。
传统Agent有个痛点,长会话跑到一半,你想改系统提示词,比如让Agent从“写代码模式”切换到“写文档模式”,那就必须清掉整个KV Cache重新prefill。
在1M上下文的前提下,切换系统提示词,就意味着Agent要花几十万甚至上百万token去重新规划任务。
所以现有Agent产品基本不允许中途改系统提示词,Agent的角色和目标从会话开始就锁死了。
这就说明,
现在的
所以DSH大量优化用户体验,不仅仅是为了继续“反哺”未来的
本文来自微信公众号“字母AI”,作者:苗正,36氪经授权发布。















