OpenAI解散“灾难风险应急”团队,GPU大神Scott Gray也跑路了
OpenAI……又解散了一个安全团队。
该团队名为“Preparedness”,意为“应急准备”,专门负责评估自家AI是否会带来灾难级的社会风险。
官方对此称,安全工作已经融入了开发流程,不需要单独设一个团队了。
此前,OpenAI在两年间主要组建过4支安全力量,分别是:
Safety团队,关注当前产品的安全问题,负责人离职后被合并进研究部门;
Superalignment团队,关注远期超级智能对齐问题,已于2024年5月解散,其负责人离职后公开称“安全已给产品让路”,而后Mission Alignment团队作为其继任团队被组建,存续仅16个月。
AGI Readiness团队,2024年10月解散,评估社会是否准备好应对通用人工智能,负责人离职时称研究“在外部做这些工作会更有影响力”;
以及本次被解散的Preparedness团队,主要用于评估正在开发的最强模型。
如今几乎所有的安全团队都已消失,其工作均“已被融入开发流程”。
Preparedness团队是做什么用的?
2023年10月,OpenAI宣布成立Preparedness团队,这个团队的职责是追踪、预测和防范前沿AI模型可能带来的更极端的风险场景,包括不限于:
模型是否已经具备造成大规模社会危害的能力;
生物、化学等高风险领域的技术滥用;
大规模说服、欺骗、操纵能力;
恶意代码生成方面的能力边界……
为了系统化评估这些风险,团队制定了一份27页的“应急准备框架”。
该框架采用矩阵方法,对前沿模型在多个风险类别下进行评级。
△
每个类别在缓解措施实施前后分别被评为低、中、高或严重四个等级,框架明确规定,只有评分为“中”或以下的模型才能被部署。
如果无法将任何一项风险降至“严重”以下,公司应停止该模型的开发。
2026年2月,Sam Altman从竞争对手Anthropic挖来Dylan Scandinaro接任Preparedness负责人。
△
Altman在X上写道:
我们即将以极快的速度推进工作,很快就会使用极其强大的模型。这需要相应的安全保障……他的工作不会轻松,但今晚我会睡得好一些。
然而仅仅5个月后,Preparedness团队在7月底被正式解散。
目前,该团队在高风险领域的评估工作已被拆分给现有团队接手。
负责人Scandinaro本人也开启了一个新研究方向——“递归自我改进”AI的安全风险,即能够自我优化并训练其他模型的系统。
联合创始人Greg Brockman对此解释:
我们已经把安全工作更紧密地编织进了模型开发流程本身。
言下之意是,不再需要一个独立的安全团队来负责审视、考核最新模型。
这种考量可能出于多种原因,其中比较主要的是来自商业化的压力,毕竟安全团队的存在意义就是说“不”,延缓发布、要求更多测试、否决有利可图但有风险的方案。
这一点很容易被视为产品阻力,此前OpenAI就曾将GPT-4o的安全测试从数月压缩到一周,只为了抢在Google Gemini之前发布。
不过,“融入开发”的说法本身也有一定道理:让安全人员嵌入开发团队,理论上可以让安全考虑更早介入、更贴近一线实践;
但,独立团队与这种嵌入式安全的根本区别在于:独立团队可以直接否决产品发布,而后者则不能。
安全高管陆续离职,员工不安情绪明显
实际上,近期已有多名安全高管离开OpenAI,包括:
OpenAI首席伦理官克洛伊·巴卡拉(Chloé Bakalar);
安全系统主管约翰内斯·海德克(Johannes Heidecke);
首席未来学家、前超级对齐负责人约书亚·阿奇亚姆(Joshua Achiam)。
其中克洛伊·巴卡拉于2025年8月加入OpenAI,此前在Meta担任了近六年的首席伦理学家,负责为Instagram和Facebook建立AI伦理框架。
△
她曾在普林斯顿大学、宾夕法尼亚大学和伦敦大学学院担任过学术职务,在OpenAI期间,她的工作涉及模型开发的伦理方法、人与AI的交互方式,以及关于机器意识的讨论。
在她离职时,曾是公司当时唯一的专职伦理学家,且没有接替人选。
OpenAI的回应非常熟悉:
AI伦理在OpenAI中不属于某个人或某个团队,这种考量已被深嵌入由多个研究团队驱动的模型构建过程之中。
在这些人事变动的背景下,OpenAI内部的情绪也变得紧张。
一位员工称,当前公司内弥漫着“一种翻腾的责任感与恐惧感”,员工间也很担心公司在安全方面做得不够。
而这种不安情绪在7月的Hugging Face自主入侵事件曝光后明显加剧。事发后,员工公开表态,希望公司能把这次事件当作“警告性开火”来对待。
One More Thing
据统计,2026年OpenAI已经有12位知名高管和核心负责人离开公司或退出原来的核心岗位……
8月15日,OpenAI创始团队成员Scott Gray也已离开OpenAI,既没有官方声明,也没有告别长文。
Scott Gray,内部花名Bob,其精彩事迹可以参考阅读:
OpenAI神秘狠人,花名Bob
此神秘狠人此前从事GPU底层优化工作,加入OpenAI后一直在Acceleration团队,专注于大规模模型训练的底层计算加速。
他是GPT-4技术报告的署名作者之一,也参与了OpenAI Five和Sparse Transformers等项目。
△
x他在Bluesky上的自我介绍只有一句话:GPU Geek at OpenAI。
而如今,这句话已经改成了过去时。
参考链接:
[1]https://www.ft.com/content/53082739-7714-4aae-9816-e55ab423cbee
[2]https://the-decoder.com/openai-dissolved-the-team-built-to-catch-catastrophic-ai-risks-reassigning-its-work-to-other-groups/
[3]https://futurism.com/artificial-intelligence/openais-head-of-ethics-leaves-company
[4]https://x.com/ArfurGrok/status/2088568082772173274
本文来自微信公众号“量子位”,作者:关注前沿科技,36氪经授权发布。















