打败Fable 5!Kimi K3冲上第一,杨植麟导师很骄傲
智东西7月17日报道,今日,
云平台Vercel创始人、Next.js作者Guillermo Rauch公布专业网页工程AI评测结果,
测评博主aditya实测后,认为
AI头部测评博主Taelin也对
从技术博客看,
在基准测试方面,
在架构和基础设施上,
价格方面,
相比顶级闭源模型,
01.
实测对标Claude Fable 5
智东西在
提示词:制作一个单文件HTML的3D横版格斗游戏,场景为被霸天虎入侵的破败城市地图,敌人为类人型赛博坦机器人,包含武器后坐力效果,采用低多边形风格并带有卡通美学。游戏开始时,玩家位于街道上,周围有建筑废墟;游戏中应包含可被击倒的细节物品,如汽车、树木、石块/瓦砾和自动售货机。玩家可以选择5种擎天柱阵营角色进行游戏,并与5种霸天虎变种敌人战斗,这些敌人会不断生成,游戏为无限时间的沙盒模式。
从实测结果来看,
AI领域记者Chetaslua对
海外网友之前用
测评博主aditya在3D游戏生成任务中,将
开发者LASCHUK也实测对比了
02.
从代码开发到知识创作
Kimi K3展现复杂任务执行能力
在编程领域,Kimi K3不仅能够理解大型代码库、调用终端工具,持续完成长时间的软件开发任务,还能参与GPU内核优化、编译器开发、芯片设计等高复杂度工程工作,并结合视觉理解能力完成游戏开发、前端设计等多模态编程任务。
首先,Kimi K3具备构建完整工程系统的能力。Kimi展示了该模型从零开始构建GPU编程系统的案例。它开发了类似Triton的编译器MiniTriton,该编译器可以将开发者编写的程序转换为GPU能够执行的代码,并完成优化和运行,在部分场景下性能达到甚至超过现有工具。
其次,Kimi K3还融合了3D推理、编程与视觉能力。它能将概念、图像和视频转化为完全可玩的交互体验。比如,Kimi K3生成的3D动画游戏场景,里面是下雨天的森林,还包含湖泊,雨滴和马匹以及人物等元素。
Kimi K3还能设计芯片。Kimi称,在连续48小时的自主Agent运行中,Kimi K3基于开源EDA工具和Nangate 45nm工艺库,独立完成了芯片的构建、优化与验证。
此外,Kimi K3还能将科学文献中的方法转化为可执行代码,完成从论文理解、代码实现到实验分析的完整科研计算流程。
在知识生成领域,Kimi K3能够自主搜集和分析大量资料,整合文献、数据与工具,完成产业研究、科研分析、报告生成和可视化创作等任务。
下图是Kimi K3生成的一份咨询风格的行业报告,这份报告包含交互式可视化图表。图表中包括时间线、漏斗、甘特图等。
这是Kimi K3对GWTC-5引力波的分析报告,它使用20多个并发subagents分析了391个引力波事件,生成了7张科学可视化图、2张表格,并综合了10多篇论文的文献内容。
此外,Kimi K3还可以将技术概念转化为动画图示和转场。在这个案例中,Kimi K3制作了一支介绍自己架构的「3Blue1Brown」风格动态图形讲解视频。
Kimi K3还能自己剪辑视频。Kimi官方展示了该模型依托56段原始素材自主生成品牌宣传视频,独立完成素材筛选、画面动作匹配剪辑、卡点、音频以及多轮迭代修改工作,较人工快上数天。
值得注意的是,Kimi K3还进一步增强了模型交互的可视化和持续管理能力。基于Kimi K3,Kimi Work推出了“小组件”和“看板”功能。其中,小组件支持在对话中生成可交互内容,并连接本地数据或外部插件实现动态更新;看板则能够集中管理多个小组件,形成围绕项目、主题或目标的长期工作空间。
03.
多维评测验证
编程、Agent与视觉能力全面提升
在官方公布的评测结果中,Kimi K3在编程、Agent任务和视觉理解等多个方向展现出较强能力。
在编程能力方面,Kimi K3在超长时序持续开发SWE Marathon、软件逆向Program Bench、终端运维Terminal Bench 2.1等测试中表现突出。其中,SWE Marathon、Program Bench均取得第一,Terminal Bench 2.1达到88.3分,与GPT-5.6 Sol接近;在高难度软件工程任务FrontierSWE中,Kimi K3以81.2分位列第二,仅次于Claude Fable 5。
在Agent和知识工作场景中,Kimi K3同样展现出较强的任务执行能力。在网页深度调研BrowseComp、办公自动化Automation Bench、Excel财务建模SpreadsheetBench 2等测试中取得领先,其中BrowseComp达到91.2分,Automation Bench和SpreadsheetBench 2均排名第一。不过,在综合白领任务GDPval-AA v2、APEX-Agents等更贴近真实办公流程的评测中,Kimi K3仍弱于Claude Fable 5等顶级闭源模型。
在视觉能力方面,Kimi K3在图表理解CharXiv、文档分析OmniDocBench等任务中表现较强,其中OmniDocBench达到91.1分,超过参与对比的多款模型;但在部分视觉推理任务中,Kimi K3仍存在差距,例如零样本视觉工具任务Zerobench低于Claude Fable 5。
Kimi内部也测试了Kimi K3的工程能力。在GPU内核优化测试中,Kimi K3需自主完成代码分析、内核重写和性能验证,覆盖AttnRes、KDA、MLA等GPU计算任务。结果显示,在最高推理强度下,Kimi K3表现接近Claude Fable 5(含回退机制),并超过Claude Opus 4.8、GPT-5.6 Sol和GPT-5.5。
在知识工作方面,Kimi内部Internal Knowledge Work Bench测试显示,在统一开启最高深度思考模式后,Kimi K3在通用推理、深度文档分析和金融专项三类任务中的表现均超过GPT-5.5和Claude Opus 4.8。
04.
两大架构升级支撑3T级模型
推理成本仍可控
据官方博客介绍,从去年7月到现在,中间有9个月,Kimi模型始终保持着开源模型的规模上限,参数量一直在1万亿以上,而今天推出的Kimi K3是首个参数量达到2.8万亿的开源模型。
Kimi K3的构建主要基于这2项架构更新:Kimi Delta Attention(KDA)和Attention Residuals(AttnRes)。更新之后的架构可让信息在更长序列和更深模型中流动得更顺畅。同时,Kimi K3进一步扩大了Mixture of Experts(MoE)的稀疏度:结合Stable LatentMoE框架后,该模型可以在896个专家中高效激活16个。
Kimi称,再加上训练方法和数据配方的优化,这些结构性改进让Kimi K3相比Kimi K2的整体扩展效率提升约2.5倍,能更有效地把算力转化为能力。
在训练与部署上,该模型从SFT阶段开始采用量化感知训练,使用MXFP4权重和MXFP8激活,并通过平衡专家并行训练提升吞吐。针对长上下文推理,Kimi团队还向vLLM社区贡献了KDA相关实现,使Kimi K3在2.8万亿参数和百万token上下文条件下仍能控制推理成本。
在安全性和可靠性方面,Kimi称目前Kimi K3仍存在一些使用限制。
一是由于Kimi K3是在保留思维历史的模式下训练的,如果Agent框架没有正确返回完整历史内容,或用户在会话中从其他模型切换到K3,生成质量可能变得不稳定。
二是Kimi K3针对长期复杂任务进行了强化训练,在用户意图不明确时可能表现得过于主动,因此官方建议在系统提示词或AGENTS.md中设置更明确的行为边界。
Kimi也承认,Kimi K3虽然具备较强竞争力,但用户体验相比Claude Fable 5、GPT 5.6 Sol等顶级闭源模型仍存在差距。
05.
结语:Kimi K3拉开超大开源模型序幕
搞定复杂工作完整交付
Kimi K3的发布,进一步推动开源模型向超大规模迈进。但相比参数规模的提升,Kimi K3更值得关注的是其在长程任务执行上的探索。
从长时间代码开发、GPU工程优化,到产业研究、科研分析和多模态创作,Kimi K3展示了大模型从内容生成向复杂任务执行和完整工作流交付的延伸。
不过,随着模型规模持续扩大,如何进一步提升推理效率、降低使用成本,并缩小与顶级闭源模型在实际体验上的差距,仍是开源模型后续发展需要解决的问题。
来源:X
编译 | 茄子
编辑 | 程茜
本文来自微信公众号 “智东西”(ID:zhidxcom),作者:田忠婷,36氪经授权发布。















