端侧大模型成了刚需,芯片准备好了吗?
在2026 WAIC现场,我们观察到:大模型的能力,正在从互联网和聊天框里走出来。
两年前,行业对大模型的所有想象几乎都在云端:参数越大越好,集群越强越好,谁在数据中心里堆的GPU多,谁就是赢家。其实,这套逻辑到今天也没有错,但它只讲对了故事的一半。
至于另一半,在云端之外,正在安静地发生。
Agent到来以后,人们发现,推理任务开始离开数据中心,沉淀到了PC本地、手机本地、机器人的大脑里,以及更多叫不出名字的终端设备中。终端形态各异,面对的是同一个“不可能三角”:功耗只有几瓦,成本卡在几十美金,客户却要求它们跑得动几十亿甚至上百亿参数的模型。
芯片行业过去十年没解过这种题,因为云端的规则是推高天花板,算力强者通吃。而端边要做的是,在物理规则的铁笼子里,把大模型推理的效率逼到极致。
这道题,重写了端边AI芯片的竞争规则。
01. 大模型,正在走向端边
为什么端边大模型“一夜之间”就成为了大势所趋?
最近一段时间,黄仁勋反复在讲一个判断:推理算力需求大约要增长一万倍,Token会成为新的计量单位。
数字本身不是重点,量级的变化才是。推理一旦变成如此高频、持续、与账单直接关联的行为,全走云端在成本上也就会越来越荒谬。一次推理调用花不了几个钱,但一天几亿次会是一笔很惊人的账。
新的推理量级造就的成本压力,会把越来越多的计算推向端边。
中国市场对这件事的反应比海外更快,大量应用方案公司已经在找芯片厂商,要求做本地加云端的混合方案。法律、金融这些垂直行业的需求尤其具体,对数据隐私和计算延迟要求更高,对生产力工具迭代的嗅觉也更敏锐。
相比验证概念,市场更需要的是能跑通、能量产的交付级产品。而站在芯片公司的视角下,水温的变化正在于此:适配端边大模型的AI芯片,很快就会成为一批批真实的订单。
一家深圳公司提供了一个样本,他们搭了一个端云混合的Agent平台,上面跑着各行业的智能体,用于日常运营,用一套算法动态分配任务,实时判断哪些走本地,哪些上云端。系统跑了一段时间之后,结论是:80%左右的任务在本地完成,只有20%走云端,平台还会自动统计客户省下了多少Token费用。
这个数字说明了一件事:大量智能体的工作流程,本地算力完全可以承载,而且无论是终端设备还是更好的AI芯片,客户购置本地算力都只需要一次性消费,云端的token账单却要按用量、按月计费。
经济账一旦跑通,迁移就是不可逆的。
成本只是第一层,延迟是第二层。端侧推理能做到毫秒级响应,云端推理则要受制于网络环境,对于需要实时交互的Agent来说,延迟是会破坏任务的硬伤。
隐私是第三层让端边大模型走向舞台中心的因素,数据即资产的认知越来越普遍,本地处理意味着照片、文件、视频数据始终留在本地设备里,不但安全,而且离线可用。
也就是说,端边大模型可以联网获取外部信息,但本地数据和处理能力是留在本地的,断网也能跑。对于不少需要在网络死角运行的工业设备和移动终端来说,安全可离线是数字化的生死线。
几层变量叠加在一起,揭开了端边大模型价值升维的真正原因:大模型的价值锚点,正在从知识密度转向行动密度。
一个会聊天的模型,只要云端的算力和数据就够了,而一个会做事的模型,由于推理频次和持续性大幅上升,带来了更显著的成本和安全问题,必须往安全、灵活、可控的端边走,所以端边的比例只会越来越大。
未来,主流解决方案的端云比例具体是多少不重要,但背后的逻辑很清楚:本地推理能满足的场景,肯定先用本地;本地做不了的,再上云端。
与此同时,端边化的趋势也给硬件端抛出了一道新难题:云端芯片比的是一力降十会,算力即正义,而端边的游戏,竞争规则不一样,比的是另一种本事。
走向端边大模型的AI芯片,逃不开的一个入局门槛是,如何解开那个“不可能三角“:即能力要求越来越高,要跑更大的模型、更快地处理任务,功耗却只有几瓦,成本卡在几十美金。
性能、成本、功耗,三个约束彼此咬合,放弃任何一个,都会让端边大模型失去实用的魅力。
02. 新的终端,新的解法
把这个“不可能三角”从幕后推到台前的,是一批跟过去完全不同的终端。
过去几年,AI在终端上的角色很轻。比如给手机加个修图优化,给PC加个语音助手,于是前几年早早地就出现了AI PC这个品类。芯片厂商们的应对措施也是轻量级的,Intel在Panther Lake里塞一点GPU或NPU,高通在骁龙里集成一个 NPU,属于对PC品类的锦上添花。
但从2025年开始,新的设备形态开始冒头。
“它们长得不像任何你见过的电脑,可能更像鸡蛋、像花瓶、像路由器。”一位芯片创业者描述客户样机的时候,用了这么几个比喻。
但共同点是:它们不是“为人”设计的,是为了AI和Agent而设计的原生硬件。所以不需要触控、键盘,不需要人坐在前面操作,可能也没有屏幕,但可以做到语音和多模态交互,7×24小时不间断运行。它们的存在理由只有一个,就是让AIagent有一个物理的、持续在线的身体。
这些设备有一个刚热起来的名字:Agent Computer。
联想今年初在拉斯维加斯Sphere发布了全球首款个人超级智能体Qira,英伟达从DGX Spark一路推到RTX Spark。两家巨头的动作指向同一个方向:让Agent Computer从一个概念成为一个真实的硬件品类。
WAIC现场:联想AI主机P7
但最终能够决定这个品类主流形态的,可能不是PC厂商,也不是芯片厂商,而是应用场景。
单就通用性较强的家庭场景和企业场景,目前完全是“两拨人”在做两套不同的设备。家庭要的是中枢大脑,比如放在客厅,调控灯光、记忆对话、监管老人孩子的看护;企业要的是生产力工具,跑法律文书、数据分析、代码审查。
同一家硬件厂商很难把这两套思路一起做透,同一个芯片架构要覆盖这两种需求,也绝非易事。这也就意味着,端边终端市场天然就是碎片化的。
而终端形态的变异和碎片化,也进而倒推了AI芯片的定义。
一个不间断承载Agent任务的设备,对本地算力的要求跟过去跑一个本地模型完全不同,它需要独立的、能力足够强的NPU,要大带宽、大存储容量,能处理长上下文的复杂任务。单个任务可能要跑半个小时甚至更久,中间不能断。
新终端把不可能三角削得更尖了。所有AI芯片玩家面对的是同一道题,必须把效率做到极致,这一点没有争议。但解法在明显分化。
高通和苹果走的是SoC延展路线,在原有ARM架构上加NPU,好处是生态成熟,几十亿设备已经在跑了,但改良的天花板就在头顶上。常规架构哪怕堆到3纳米、2纳米的先进工艺,递减的制程红利也带不来质变。
英伟达从GPGPU往下延伸,算力储备不是问题,但三十年的CUDA生态既是护城河也是历史包袱,带着一整套为云端训练优化的架构往端边挪,跟背着一座山下山差不多。
在巨头们的路径分野之间,出现了第三条路:存算一体。
存算一体的本质是从架构层面重新设计,把计算和存储的物理边界打破。传统芯片的瓶颈在于数据在计算单元和存储单元之间来回搬运,功耗和时间都耗在路上,存算一体的解法是直接在存储单元里做计算,搬数据的开销被压到最低。
相比生态延展的路线,这条新路前期走得会更慢、更难,要一遍遍test chip,解决没人碰过的量产问题。但优势在于,新架构的效率优势是结构性的,天花板上限也会更高。
押注这条路的芯片玩家不多,正是因为海外巨头舍弃不了生态游戏,在敢于做架构创新的厂商里,国产玩家的身位反而很突出。成立于2020年底的后摩智能,算是其中跑得更早、存算一体路线更坚决的一家。
到了端边大模型和Agent Computer这个时间拐点,芯片厂商的起点基本一样。不像做手机基带,或者云端训练芯片,海外已经领先了十年。端边芯片的竞争中,国产并非完全没有先发优势,反而有机会在量产和行业落地的速度上,拿到身位的先机。
03. 端边芯片的竞争,才刚打响
端边AI芯片是一条刚拉开的赛道,而选手已经在加速进场。
目前的格局大致可以分三类:高通和苹果这类SoC巨头,生态成熟,出货量巨大,但端边大模型对他们来说还是增量需求,改良基因决定了能力上限。高通最近也在做独立NPU,说明它自己都清楚,集成方案不够用了。
英伟达凭借GPGPU的算力势能从云端往下走,1 PetaFLOP的AI算力扔到消费级设备里,火力是够的,但端边的功耗和成本约束,是英伟达过去三十年几乎不需要严肃对待的问题,却也是当下真金白银的市场需求。
第三类则是像后摩智能这样专注端边的新玩家,缺点是量产经验和生态还不足,但与此同时也没有历史架构包袱,可以直接从终端的真实需求出发重新设计芯片。
显而易见,最适合创业公司扎堆的第三类路径,战略决策更值得解构。
以存算一体路线切入端边大模型的后摩智能,就是一家典型的“战略决定身位”的公司,创始人吴强早在2023年下半年就做出了一个判断:大模型会从云端往端边迁移。
当时,Agent还没有出现,这个判断可以说没有太多证据。大模型的主战场还在云端,国内六小龙都在卷参数和集群规模。存算一体作为架构路线,做端边大模型有点像“横着切了一刀”。
但吴强盯住了两个信号:智谱出了6B模型,Llama出了7B模型,大模型不再是几百B参数巨兽的专利,小模型也能跑出实际可用的效果,在很多场景中避免“大炮打蚊子”。
团队拿存算一体架构试跑了一下本地大模型,跑得相当好。既然如此,提前布局端边大模型,对于做存算一体起家的后摩来说,就成为了一件顺理成章的事。
这个预判在两年后得到了密集验证。2025年
后摩因为提前两年做了布局,吃到了第一波红利:因为市场上当时能选的成熟方案不多,战略和技术路线上的先发优势,实实在在地转化成了客户和订单。
产品性能层面,后摩漫界M50用存算一体做到160 TOPS,功耗约10瓦,单芯片能跑35B到120B参数的模型,覆盖AI PC、机器人、边缘推理等场景。半年到一年前左右,端边芯片还只能跑7B模型,今天已经可以跑到120B的参数,重新标定了端边的能力边界。
WAIC现场:后摩漫界M50
另一个佐证是,后摩漫界M50已经走到量产级。在AI PC方向,后摩先后进入了联想和长城的供应链:联想AI主机P7搭载M50全球首发,长城N90 Pro也用M50打出了端侧算力的卖点;操作系统层面,后摩漫界M50完成了与银河麒麟操作系统V11的深度适配;在端边大模型这条赛道上,后摩还与中国移动达成了链长生态层面的合作,客户场景正在从Agent Computer向具身机器人、端边推理和智能移动终端延伸,量产订单已经开始转化。
WAIC现场:长城N90 Pro笔记本
不过,虽然从芯片巨头到带着新架构加速入场的创业公司,都已经给出了自己的解法,但再把视角拉远一点,端边AI芯片的竞争还处于早期,接下来可以分成两个阶段来理解。
第一个落地阶段,比的是效率,也就是谁能在功耗、成本、面积的物理约束下,把大模型本地推理的能效推到极致,这是硬碰硬的工程能力比拼,花架子和长期叙事在这个阶段没有用。
而再往远看,在效率也逐渐收敛之后,第二个阶段比的就会是生态和场景适配。也就是说,回到了英伟达的舒适区,考验的是谁的工具链更完整,与主流模型框架的适配更顺滑,更快地帮客户把方案跑起来,长期来看仍然能拉开越来越大的差距。
在第一阶段,存算一体因为从架构层动了刀,天然在效率和功耗上有结构性优势,但这个窗口期也不会一直持续下去。好在,国产厂商在这条赛道上的起点和海外是平的,以后摩来说,凭借架构的独特性和提前布局,在国内外都具备站进第一梯队的条件。
但行业也清楚,端边大模型现在还处在向行业价值过渡的时期。AI NAS怎么做,home center怎么做,企业端的推理设备怎么做,大部分人都在摸索,中间一定会有起伏,也一定会出现大量掉队的人。
2023年,大家还只有一点Agent的概念,到了2025、2026年至少看到了场景,而从看到场景到规模化落地,中间还有一段长路要走。
未来两年,端边场景里一定会跑出Killer App,会孵化出大模型原生的应用形态。生产力工具、更聪明的智能家居和情感陪伴可能最先跑通闭环,面向大众的普惠应用则是下一步。
不过,就像移动互联网时代才出现了美团、滴滴和抖音,我们当下其实很难真正想象,未来能改变人类生活甚至就业方式的主流应用会长什么样,经济价值又会是如何滚动起来的。
在这场竞赛里,芯片是基础设施。先落地、先跑通的算力底座,就能拿到下一阶段的入场券。















