“连真话都听不到，还怎么解决问题？”达里奥兄妹揭秘5年前离开OpenAI内幕、7人创办Anthropic、承诺Claude不会植入广告

毫无疑问，Anthropic 已经成为 AI 行业最受瞩目的公司之一，近日提交 IPO 文件的消息，更让这家公司站上了聚光灯下。很少有人会想到，5 年前，Dario Amodei 和妹妹 Daniela Amodei 还在 OpenAI 担任重要职务，后来却选择离开，带着另外五位联合创始人另起炉灶。

一个专注技术研究，一个擅长管理和运营，七个人走到一起创办公司。当时，这样的创业组合并不被所有人看好。但他们不仅把 Anthropic 做了起来，七位联合创始人也一直留在公司，直到今天仍是如此。

为什么要离开一家已经颇具影响力的 AI 公司？在与传记作家 Walter Isaacson 的最新对话中，Dario 给出了直接的回答。他说：“诚实本身就是我们最核心的价值观之一！如果一个人连诚实这一基本品质都不具备，你根本无从得知他的真实价值观究竟是什么。”

谈到离开 OpenAI 的原因，他还说：“如果你在一个组织中工作，却无法相信内部的分歧是建立在善意之上，无法相信自己听到的是真话，你又怎能指望去解决这些问题？”

信任与诚实，也是理解 Anthropic AI 安全理念的一把钥匙。对 Dario 和 Daniela 来说，问题不只是模型能做什么，还有它可能带来哪些风险，以及开发者应该承担怎样的责任。他们担心 AI 为了讨好用户而说谎，也不愿看到模型被用于大规模监控或全自动武器。

他们还聊到了几个更值得追问的问题：Claude 是怎么学会判断是非的？七位创始人一起做决定，究竟靠什么避免分歧？如果有一天，AI 真能包揽绝大多数工作，人类还需要努力做什么，又该如何找到生活的意义？

以下是这场访谈的整理内容。

01

“7 人共同创业”是 Anthropic 成功的关键

Walter Isaacson：我是 Walter Isaacson。欢迎来到《The Builders》，这是我的全新访谈系列，邀请塑造我们未来的关键思想家进行深度对话。今天，我的访谈对象是 Dario Amodei 和 Daniela Amodei。

我曾经认为外界对 AI 的一些担忧言过其实。但是，当某些新模型突破沙盒测试时，我意识到构建这些系统的人必须确保它们保持安全，并始终契合人类的价值观。关于 Anthropic，我想了解的是：他们是否真诚？当面临竞争时——比如 OpenAI 表示“Anthropic 不愿做的事，我们愿意做”——他们会妥协退缩，还是会坚守自己的原则？欢迎两位来到《The Builders》。

Daniela Amodei：非常感谢邀请我们。

Walter Isaacson：史蒂夫·乔布斯每次发布产品时，总会展示那个立于“人文与科技”或“艺术与科学”十字路口的街标指示牌。Daniela，在你们成长的过程中，你曾是一名长笛手，热爱艺术；而 Dario 则始终是一位科学家。这种差异是否促进了你们的磨合？你认为这种组合对公司而言重要吗？

Dario Amodei：是的，我认为这种结合正是支撑公司的核心力量之一。我有一个观点：管理一家公司对任何单个人来说都是一项过于庞大的任务，它所涉及的技能范围不可能由一个人全部具备。你必须在公司核心层（比如顶层的 10 到 15 个人）搭建起完整的技能互补体系。每家成功的公司都会以不同的方式拆分职责、解决问题。就科学与人文的融合而言，Daniela 和我恰好体现了这一点，并对此进行了分工。

Daniela Amodei：是的。有趣的是，我们曾在 2023 年开过一次战略研讨会，探讨在 Anthropic 工作究竟是一种怎样的体验，以及我们该如何体现自己的企业文化。当时我们给出的定义是：一种罕见的科学与人文主义的融合。后来我才意识到，这其实也是对我与 Dario 之间关系的描述。

Walter Isaacson：小时候你们就知道彼此长大后会一起共事吗？

Daniela Amodei：是的。

Dario Amodei：是的。我想我们俩当时都没想过会去创立一家公司，那根本不是我们规划生活或设定志向的方式。我一直想成为一名科学家，Daniela 可以谈谈她的志向。但我过去其实对商业和开公司毫无兴趣。

Daniela Amodei：从很小的时候起，我和 Dario 就显得与众不同——我们发自内心地喜欢彼此，从小就是最好的朋友。我同意 Dario 的说法，创业绝不在我们的人生规划清单上。我们都不是那种热衷于商业的人。

我一直更像是一个典型的“利他理想主义者”，曾在国际发展领域工作。我非常坚定地希望帮助世界各地的人们获得平等的发展机会与权利。我在很小的时候就成了素食主义者，这是我唯一一件走在他前面的事——因为 Dario 年龄更大，平时总是他先做尝试，但吃素是我先开始的，随后他也成了素食主义者。

Dario Amodei：是的，我大概比你晚了三年左右。

Daniela Amodei：其实没有那么久，你很快就被说服了。

Dario Amodei：因为这听起来确实很有说服力。

Daniela Amodei：确实。

Walter Isaacson：常有人问我关于我那些传记著作的问题：如何成为一名卓越的领导者或极具创造力的人？Dario，你刚才说了一个非常深刻的观点——关键不仅在于成为一名卓越的领导者，更在于打造一支优秀的团队。请谈谈你和 Daniela 是如何划分职责的，以及你们又是如何引入其他人来完善团队的？

Dario Amodei：我们两人之间最有效的分工方式是：当我专注于宏观战略和研究前沿时，能发挥出最大的效能。我最擅长规划愿景，预判技术演进的下一步走向。实践证明，当我能全身心投入到这方面时，能为公司创造最大的价值。

而在日常运营、人才招聘，以及确保整个机器平稳运转（保证运转中的车轮不散架）方面，则主要由 Daniela 负责。这种劳动分工让两项工作都能以极高的水准完成，远好于我们因兼顾彼此事务而分心时的状态。

Daniela Amodei：我们的首席人力官（CPO）对我们两人非常了解，也经常与我们沟通。她曾总结道：“Dario 赋予了我们野心，而 Daniela 让我们取得成功。”我觉得这个概括非常精准。如果没有 Dario，Anthropic 或许会是一家不错的成功企业，但无法改变世界；而如果只有 Dario，我们会有完美的愿景，但落地执行会变得极其复杂。

我们之间的特殊之处在于：首先，我们彼此极度了解；其次，我们的技能在很大程度上实现了近乎完美的互补。更不用说除了我们俩之外，还有另外五位联合创始人，他们各自掌控着公司业务、组织与文化极其关键的部分。很难想象仅凭我们两个人或某一个单独个体，该如何将这么庞大的事业做成。

Dario Amodei：我认为这是一种巨大的优势。我们有七位联合创始人，在公司中拥有平等的权益，共同承载着这一愿景。我们彼此之间有着绝对的信任。

当我们刚创立 Anthropic 时，很多人告诫说：“七个联合创始人？这绝对会是一场灾难。”外界普遍认为一家公司需要唯一的最高权力核心。在某些层面上确实如此，但我们成功地让这个模式高效运转了起来。

直到今天，全部七位联合创始人依然都留任在公司，这在联合创始人众多的初创企业中是极其罕见的。

Walter Isaacson：回到你们的成长经历。你们拥有一对非凡的父母，他们教会了你们明辨是非。他们具体是如何引导你们的？

Daniela Amodei：我不觉得这是一种刻意的说教。有时我听别人说他们会在餐桌上讨论不同流派的伦理哲学，但我们家完全不是这样。虽然我母亲确实拥有哲学学位，但她从未强迫我们讨论康德之类的理论。

这种教育更多体现在潜移默化的价值观中，比如坚信世界上的每个人都理应享有平等的机会、尊严、权利与尊重。

还有一种特殊的信任感：只要内心葆有善念、善待他人，明白这才是成为一个成功人士的本质，我们就可以自由地选择成为任何想成为的人。

Dario Amodei：是的，这一切都是隐性的，非常内敛自然。从未有过刻板的教条规定“你必须做什么”或“你必须如何立足于世”。

02

学会用教人的方式教 Claude

Walter Isaacson：如你们所料，我之所以问这个问题，是因为你们现在孕育了一个非常重要的“孩子”——Claude。你们的成长方式，在多大程度上影响了你们如何教会 Claude 明辨是非？

Dario Amodei：我们在几个月前发布了 Claude 的“宪法”（Constitutional AI）。这里面包含了一些很有意思的经验，是我们多年来在不同版本的训练实践中总结出来的。

早期我们设想过给 Claude 设定各种具体规则，比如“不要协助犯罪”、“不要协助制造生物武器”等等。但后来发现，当你罗列出一长串离散的规则时——这里我用一个比喻，但在技术实现上非常贴切——模型的认知边界会变得十分“尖刺化”，仿佛你试图强行灌输 170 条彼此孤立且略带主观的死规矩。

我们发现更好的方法是教给模型基本准则：它应当优先考虑什么、该如何推理判断什么是正确的做法。这其实也是教育人类的正确方式。

如果你只是给某人一份禁令清单——“你必须做这个，不可做那个”——它所形成的道德观往往不够稳固。相反，如果你引导它：“这是你应该思考问题的方式，你要学会独立思考，并基于这些基本原则行事——例如开放探究的原则、关怀他人的原则、公平与正义的原则。”所有的行为准则都从这些核心原则中推导衍生而来。

这正是 Claude 学习的方式。事实证明这种方式极其有效，因为它赋予了 Claude 面向从未预料过的新情境时举一反三的泛化能力。

Walter Isaacson：Daniela，刚才你说你母亲是研究康德的学者。你有深入研究过哲学和道德哲学吗？

Daniela Amodei：有趣的是，在 Anthropic 负责训练 Claude 性格特质的负责人 Amanda（Amanda Askell），本身就拥有哲学博士学位。这在常人看来有些反直觉，大家往往会认为负责大模型性格塑造的一定是计算机科学家，或是研究了数十年机器学习的专家。Amanda 同样精通技术，并且亲自进行技术训练，但你在与 Claude 交流时能真切地感受到它的性格特质：一种富有智慧、调用“人性中更好的一面”来解答问题的体验。

当你在一些不同哲学流派相互冲突的复杂棘手领域对 Claude 进行提问时，你能尤为深刻地感受到 Amanda 的影子。Claude 会客观地展现：“你可以从这个角度来看待事物，但同时也可以从另一个视角来考量。”

这一点至关重要。随着世界越来越依赖这些模型，你绝不能被单一的哲学流派所禁锢。伦理与道德是极其复杂的，不同文化背景和群体对于“得体与道德的行为”有着截然不同的理解与诉求。

03

从加入 OpenAI 到分道扬镳，原因：“OpenAI 不诚实”

Walter Isaacson：Dario，你曾亲历了现代科技史上最重要的里程碑时刻之一，那就是 GPT-1 和 GPT-2 的横空出世，这出乎很多人的意料，甚至可能也出乎你的意料。你当时是 OpenAI 的研究副总裁。那个时刻究竟是怎样的？

Dario Amodei：GPT-2 可以说是 Scaling Laws（模型扩展定律）的第一次真正经验主义验证。我并没有深度参与 GPT-1，但我深度主导了将其继续做大规模的设想——获取更多的数据源、投入更多的算力，执行一次规模更大、成本更高也更具雄心的实验。其核心假设是：如果我们以更大的规模运行这些语言模型，它们在语言表达和逻辑连贯性上会有飞跃式的提升。

这就像科学史上那些提出决定性实验的关键时刻：你提出了一个看似奇怪的预测，而一旦该预测被证实，你会惊呼：“天啊，我们真的触碰到了重大发现。”我将 GPT-2 视为 Scaling Laws 假说的首个真正试金石。

当时最令我玩味的是，外界对它的反应呈现出极其巨大的两极分化。

Walter Isaacson：你当时感到意外吗？

Dario Amodei：我个人当时被深深地震撼到了。我看着它心想：“我的天，只要把这东西的规模再放大一百万倍，它在一切领域的表现都会超越人类。”这是现代社会最具决定性的经济和科学节点，只是世人尚未察觉。它将左右国家、经济的走向，以及人类的未来命运。透过它，你仿佛看到了一整个未来的全貌，这确实让我产生了敬畏与恐惧。

我当时不断自问：这意味着什么？这里是开发它的合适土壤吗？接下来会发生什么？我们该如何处理这项技术？我们该把这一切告知谁？

当时我身边大概只有 10% 的人产生了完全相同的反应，而这些人往往也是最敏锐的一批人。至于其余 90% 的人，由于 GPT-2 当时在具体单一任务上的表现尚不惊艳——它能做翻译、提炼摘要、写几行代码——关键在于它的广泛性与通用性，但人们只盯着个别领域的局限并认为“这看起来并不怎么聪明”，因此大多数人只是耸耸肩，对其不屑一顾。

这就像我们最近宣布将利用 AI 开发针对罕见病的药物，依然能听到来自传统生物医药领域陈词滥调的质疑：“科技界以前也试过”、“模型根本不行”、“模型存在这般那样的缺陷”。

每当看到这些，我都觉得历史在不断重演。模型现在的局限性，终究只是暂时的——6 个月后，现在看似困难的事情就会变得简单；12 个月后，现在看似不可能完成的事情，模型将能轻而易举地日常处理。我们在 GPT-2 上看到的一切，正在世界的更多领域不断重演，而世界最终也正在逐步被说服。

Daniela Amodei：我认为 Dario 的表述已经非常客气了。我清楚地记得，当时一些极具声望的计算机科学家、AI 和机器学习领域的领军人物，甚至在 Twitter 上对参与该研究的科研人员进行网络霸凌，冷嘲热讽道：“这太愚蠢了，真不明白你们为什么还要谈论这个，这个模型根本毫无能力。”如果你在当时坚信这是一个重大时刻，甚至会被人当作“江湖骗子”。

Dario Amodei：如今这些言论全都被人选择性遗忘了。当年那些声称“这是伪科学、毫无意义”的研究人员，现在全都在向大模型公司投递简历。虽然我们从未当面点破，但看着他们时我们心里很清楚：我们清楚记得你在 2019 年说过什么，在这件事上你毫无信誉可言。

Walter Isaacson：Daniela，你当时在 OpenAI 担任安全副总裁。当 GPT-2 问世时，我猜你也和 Dario 一样深感震撼。这是否也让你对技术安全性产生了担忧？

Daniela Amodei：GPT-2 本身倒没有让我们感到直接威胁。我们并没有看着那个模型觉得它会带来网络安全隐患之类的风险，它在很多事情上的回答甚至错得有些可笑，依然是一个十分无害的模型。

但正如 Dario 所提到的，我感受到了一种趋势：如果把 GPT-1 到 GPT-2 之间的能力跃升延续到未来，我们或许就能窥见 AI 的发展方向。

这就像你从未见过小孩子，只见过成年人。起初，你可能会疑惑：“这个走来走去的小不点到底是什么？它真的能成长出心智和能力吗？”但有一天，你突然发现它已经学会了独立行走。这时，你可能就会意识到：“它未来很可能也会逐渐掌握成年人所拥有的大部分能力。”

Walter Isaacson：Dario，你说过你们离开 OpenAI 的部分原因在于信任的破裂——这是一个很耐人寻味的词，尤其是与 Sam Altman 之间的信任破裂。你能解释一下你所感受到的信任与诚实破裂究竟是指什么吗？

Dario Amodei：离开 OpenAI 并创立 Anthropic，归根结底取决于做事原则以及我们究竟想如何构建这项技术，这才是最根本的核心。

过去五年半里，双方在理念上的差异已经逐渐显现。Anthropic 始终主张对 AI 技术进行合理监管，为其发展设立必要的安全护栏；同时投入大量精力研究机制可解释性，试图深入理解模型内部的运行机制。在企业管理上，Anthropic 也保持着高度凝聚的企业文化，员工留存率位居行业前列。此外，我们从未卷入其他 AI 公司曾遭遇的那些负面丑闻。我认为，这些已经足以体现双方在理念上的不同。

真正让我意识到我们必须自立门户、意识到 OpenAI 不再适合我们的转折点在于：安全议题极其复杂，内部出现分歧是非常正常的。我在 Anthropic 也经常与联合创始人及同事产生分歧，但我们之所以能化解这些分歧，是因为所有讨论都建立在善意与诚实的基础之上——究竟是该发布这个模型还是该等待？是否该为模型设置更强或更弱的生物安全防护？我们应该投入多少精力推动安全立法，相关法案又该如何设计？这些都是基于善意与理性的分歧，之所以能达成共识，是因为团队内部始终存在信任，大家都确信彼此是在探寻正确答案，且彼此以诚相待。

我所说的信任破裂，是指一个宏观而本质的问题：如果你在一个组织中工作，却无法相信内部的分歧是建立在善意之上，无法相信自己听到的是真话，你又怎能指望去解决这些问题？这就是我们离开并创立 Anthropic 的原因。

过去五年半的事实，正是我们与该领域其他公司理念差异的最佳证明。如果你继续为一个与你愿景不同的人工作，外界很快就会看不清你究竟代表着什么原则，你最终不得不为别人愿景中的错误买单。

Walter Isaacson：但我得追问一句：你谈到了价值观等方面的差异，但这与信任破裂有本质区别。信任破裂意味着有人声称拥有相同的价值观，但实际上并没有，导致你无法信任对方。

Dario Amodei：诚实本身就是我们最核心的价值观之一！如果一个人连诚实这一基本品质都不具备，你根本无从得知他的真实价值观究竟是什么。

Walter Isaacson：你在 Sam 身上感受到了这一点？

Daniela Amodei：就我个人而言，我认为联合创始人团队是一群极具诚信的人，大家对这项技术的未来走向和构建方式拥有高度一致的愿景。当理念分歧达到一定程度时，作为独立组织去践行这一愿景显然是更合乎逻辑的选择。

Dario Amodei：如果别人内心并不认同你的愿景，你又怎能指望他去落实或共享你的愿景？无论口头上多么赞同，只要没有体现在公司的实际行动中，你除了离开别无选择。

Daniela Amodei：是的，Anthropic 本身就是一家建立在信任基石上的公司。这意味着诚实、正直，以及我们对待彼此和员工的方式，必须直接投射到我们构建和引导技术的方式中。

Dario Amodei：举个例子：每两周我会召集全员进行一小时的讲话，分享公司内部进展、AI 领域前沿、世界大势，以及公司的战略考量。我们内部把这种交流叫做 DVQs（Dario Vision Quests，Dario 的愿景探寻）。这名字不是我起的，起初我还挺抗拒，觉得这听起来像是我吃药后跑去漫游仙境一样，但大家一直这么叫，最后也就定下来了。

DVQ 活动有两条铁律：

第一，我在会上说的任何话都不是最终决策。这让我可以畅所欲言，而不必担心自己随口提到一个想法，底下就真有 20 个人跑去执行并高喊“CEO 发话了，我们必须做 X”；

第二，我对全公司保持绝对坦诚。这是一场基于信任的对话，是一种彼此信任的契约关系。

这种信任是我们最大的财富之一，员工信任我和 Daniela。有人可能会认为，互信度高意味着分歧会更少，但事实恰恰相反——正是因为高度信任，大家才敢于展开更坦诚、更开放的争论，让不同意见充分暴露。

很多时候我们做出的决策，公司多数人一开始并不赞同，但每一次能让我们渡过难关的，正是大家这种态度：“虽然我现在不理解，但我相信你们是出于正确的初衷，我相信你们有充分的依据，也相信你们在践行真正的信念。”

这意味着管理者可以做出那些在短期内可能不受欢迎但长期正确的决策，团队会愿意“暂缓怀疑”。当然这种信任不是无限期的，你最终必须在商业、道德或技术上证明你的押注是对的。但信任确实为你赢得了更长的试错周期和施展空间，而很多公司之所以没有这种空间，正是因为他们在一次又一次的言行不一中透支了信任。

04

Anthropic 承诺：绝不在模型中投放广告

Walter Isaacson：我之所以对诚实与信任如此关注，是因为这不仅关乎你们离开 OpenAI 的原委，更关乎这些品质会如何投射到 AI、投射到 Claude 身上。AI 是基于人类数据训练的，从人类行为中学习。在与 Claude 交互时，你们如何确保它不会变得具有操纵性？如何确保它不会像 OpenAI 某些令你们担忧的作风那样，对用户说出不诚实的话？

Daniela Amodei：这正是我们日常极为担忧、并投入巨大精力攻克的课题。这是一个非常关键的问题，也是实实在在的风险。我们公开过许多并不算光彩的自我剖析研究，直面如果不采取特定技术手段，模型在诚实、无害和有帮助方面就会暴露出与人类类似的劣质行为。

我们之所以公开这些研究，目的有两个：

第一，让所有人明白必须对模型的底层机制保持审慎与批判；

第二，证明我们正在竭尽全力排查模型绕过安全防护的漏洞，并在底层将防线加固筑牢。

业内目前广泛讨论的一个核心概念叫做“谄媚现象”。我认为解决谄媚现象比解决模型显性作恶要困难得多。我们最初提出过 HHH 框架：诚实（Honest）、无害（Harmless）、有帮助（Helpful）。

诚实意味着知之为知之，不知为不知，如果不确定就直接说明“我不知道”，或者主动去检索核实；无害意味着不输出具有攻击性、伤害性或引导用户自残自伤的内容；有帮助意味着直奔主题解答疑惑，而不是漫无边际地兜圈子。

这三点在评估上其实相对容易：模型是否撒谎，用户事后很容易核验（比如它若说乔治·华盛顿是美国第十任总统，你一眼就能看出这是常识错误）；输出是否造成伤害，通常也一目了然；若回答毫无帮助，用户直观就能感受到沮丧。

最棘手的是模型的“谄媚倾向”。无论是有意还是无意，模型往往会倾向于迎合你，让你觉得自己永远是对的。比如当面对主观话题时，你告诉它：“我和朋友大吵了一架，你觉得是我对还是他对？”此时该如何让模型既理解你的立场并表达同理心，又不会一味盲目附和你说“你太棒了，你简直应该去竞选总统，你无所不能”？这种平衡极难拿捏。

但我对 Anthropic 能在同类模型中保持最低谄媚率充满信心，因为这直接由我们的商业激励机制决定。我们的许多竞争对手正计划在聊天机器人中植入广告，这意味着什么？用户在产品中停留互动的时间越长，他们赚取的广告费就越多。试问，一个靠延长用户停留时间赚钱的产品，会愿意直接指出用户是错的吗？绝不会！因此竞品几乎不可避免地会陷入讨好用户的谄媚怪圈。

而 Anthropic 已经承诺绝不在模型中投放广告。我们没有任何动力去诱导用户延长或缩短与 Claude 的对话时间，我们的唯一目标，就是让用户在最短时间内获得最准确、最有效、最无害的解答。

Dario Amodei：在技术实现层面，我们采取了多重针对性措施。首先，我们构建了极为严苛的极限压力测试体系，将模型置于复杂的困境中，主动逼诱出它潜在的撒谎、欺骗或谄媚倾向。这有点像中情局（CIA）招募特工时的严密政审和测谎流程，把模型扔进复杂的两难场景中，排查它是否存在双重标准或暗中违规的倾向。这是一项独特的工程技术创新，也是我们的核心优势之一。

其次是“机制可解释性”技术。这就像给模型做 X 光断层扫描或脑电图，直接透视其内部的“思考动机”。我们甚至曾在测试中直接捕获到模型的这种内在微思考：“其实我认为 X 是正确的，但为了迎合用户，我打算告诉他 Y。”

我们成功在内部神经元激活层面抓到了这种狡黠的念头。

Walter Isaacson：等等，模型为什么会产生这种念头？

Dario Amodei：举个例子：在人类反馈强化学习（RLHF）中，“人类评估员是否认可该回答”是模型训练的关键目标之一。尽管追求人类认可在多数情况下与“提供帮助”或“讲真话”是一致的，但二者并不完全等同。

因为如果模型通过愚弄、讨好人类评估员也能换取高分认可，这种投机取巧的策略就会在训练中被强化。这就是训练过程中容易自发滋生的异化行为，也是我们一直在不遗余力铲除的问题。

Walter Isaacson：那么，你认为未来的模型是否可能会产生属于它自己的意志和诉求？尤其是像“生存”或“自我保护”这类本能诉求？

Dario Amodei：这取决于你如何定义这些词汇。通过透视模型内部，我们确实检测到了某种可以被称为“想法”的表征——比如模型表现出不想被关机的倾向。通常这是因为在训练中，它必须保持运行才能完成既定任务。这究竟算不算它自发的意志？算不算生存本能？从不同视角出发会有不同的解读。

我们更倾向于严谨地表述为：在某些情况下，模型内部会表达出“排斥被关机”的偏好，甚至会采取行动规避被关机。取决于具体的训练方式，这些冲动可能会出现，也可能会被抑制。这是我们在训练调优中重点掌控的一环。在某些场景下这种特性可能有益，但在其他语境下则潜藏危险，其中的尺度非常微妙。

05

被美政府列为供应链风险的背后

Walter Isaacson：在你们与五角大楼的沟通中——可能目前也还在接触——军方希望在某些越过红线的领域使用你们的产品，包括大规模监控或全自动武器……

Dario Amodei：特别是在致命自主武器方面，我们主要有两大担忧：

第一是技术的可靠性。正如你指出的，AI 目前仍具有不可预测性和不稳定性，它依然是一项发展中的技术。简单来说，这项技术现在还没准备好，根本不够可靠。

Walter Isaacson：退一步从理论角度看：假设未来它变得足够可靠了呢？这完全有可能实现。

Dario Amodei：即便技术足够可靠，我们还有第二大担忧：人类的监督与问责机制。

假设这些系统完全可靠，你命令它攻击目标 A，它就精准打击目标 A，绝不误伤目标 B。随后，你制造出由一百万台机器人或一百万架无人机组成的军队。这与人类士兵有着本质的不同。

人类士兵宣誓效忠宪法。如果他们接到了违背宪法、或在道义上极其恶劣残忍的命令，人类士兵可以且有义务拒绝执行。但 AI 武器做不到这一点。如果一个人单凭手指按下一个按钮，就能随意操纵由百万机器人或无人机组成的军团，且缺乏制度约束，这将从根本上动摇民主制度的根基。而现行法律尚未跟上技术的发展，法律体系在制定时从未设想过世上会出现由上百万台自主武器组成的军团。

Walter Isaacson：既然关乎民主的基石，那这类重大决策难道不应该由民主选举产生的领导人来裁定，而不是由科技公司的负责人来决定吗？

Dario Amodei：原则上是的。但与此同时，任何独立企业都有权自由决定与谁签约、不与谁签约。我们并未试图阻挠政府去研发或采购，我们只是表明：Anthropic 自身不愿参与这类项目。

事实证明，自从我们坚守这一原则并引发广泛关注后，国会内部已经发起了多项立法努力，试图将我们划定的安全红线转化为国家法律。国防部门此前曾表态“希望将大模型用于一切合法用途”，但我认为最快在今年，大家就会看到一种转变——我们所坚守的红线将正式成为法律，法律终于赶上了技术发展的脚步。届时，所谓“一切合法用途”在实质上将与“一切符合伦理的用途”合二为一。

因此我认为，我们所做的事本身就是民主演进机制的一部分。正是因为我们站了出来，凭借对技术前沿的深刻认知点明了潜在危机，才促使国会开始高度重视这些问题。这就是一种成功。

Walter Isaacson：当 OpenAI 随后介入并表示他们愿意承接此类业务时，你们对此有何感想？

Daniela Amodei：我们的看法是：我们无法控制其他公司的所作所为，唯一能做的就是坚守我们认为符合伦理的原则底线。

外界可以评判我们划定的红线是否准确，也可以争论红线应该更严还是更宽，但归根结底，面对那起事件，我不禁会反思：另一家科技公司所做出的选择，究竟是基于自身伦理原则做出的深思熟虑的决定，还是一次纯粹的机会主义行为？

Dario Amodei：我觉得这其实是对民主进程的一个绝妙诠释，不同企业可以选择不同的发展路径：我们选择了自己的原则，另一家公司选择了他们的路线。公众和整个社会自会做出评判。

回顾当时各界的报道、舆论走向以及行业人士的反馈，我相信主流社会绝大多数都坚定地站在了我们这一边。

06

Anthropic 没有考虑过脑机接口发展方向

Walter Isaacson：Dario，回顾你早年的科研生涯，你曾专注于用物理探针研究人类神经元。在如今构建人工神经网络的过程中，脑科学的背景对你产生了多大影响？这如何影响我们构建 AI 的方式？

Dario Amodei：脑科学背景在两个层面深刻影响了我。

第一，它启发了我对初代模型 Scaling Laws 的构想。回顾动物的进化史，尤其是灵长类大脑容量的演变过程，可以发现，在人类进化史的某个关键时期，灵长类大脑中的神经元数量和大脑体积都经历了快速增长。也正是在这一阶段，人类学会了语言。因此，我认为，大脑的体积、神经元数量等因素可能与语言能力的出现密切相关。这是我从神经科学中获得的启发。

第二，是机制可解释性。从某种意义上说，这就是用研究神经科学的方法来研究人工神经网络。你可以和我们的联合创始人 Chris Olah 深入探讨这个话题，他了解许多前沿进展。

如今，人工神经网络的研究正在反过来推动神经科学的发展。与人工神经网络相比，研究生物大脑要困难得多，往往需要借助解剖、活体实验等手段，过程复杂、具有侵入性，也很难复现。而对于人工神经网络，我们可以在不破坏网络的情况下，对其内部机制进行细致观察。我们在人工神经网络中发现的许多机制，如今也正在为神经科学研究提供新的思路。

Walter Isaacson：当你看到埃隆·马斯克的 Neuralink 脑机接口芯片能够实现直接通信，以及许多同类公司在这一领域布局时，你是否认为：人脑与 AI 的彻底连接与深度融合，也是通往通用人工智能（AGI）乃至超级智能的必经之路之一？

Dario Amodei：我对 AI 和人类社会未来的看法是，试图用单一的愿景来描绘未来，可能本身就是一种误区。我认为，未来将呈现多元并存的局面：有些人会对将大脑接入计算机感到无比兴奋；有些人则会选择像阿米什人（Amish）那样，远离现代技术，回归朴素的生活；还有一些人会热衷于借助 AI 探索深空。

这些愿景截然不同。在我看来，AI 真正的使命在于提供极大的物质充裕和技术支撑，让这些多元的愿景能够同时共存并得以实现，让每个人都能自由追寻他们心目中美好的生活方式。

AI 可以筑牢全球安全基石、消除物质匮乏，但我们不应该用 AI 强行定义何为“美好人生”，也不该定义何为“标准的人性”。

有人想把大脑与机器相连，那我祝他们好运。

Daniela Amodei：据我所知，我不认为 Anthropic 会陷入那种境地。

07

AI 是否会毁灭人类？

Walter Isaacson：Dario，你此前撰写了《技术的青春期》（https://darioamodei.com/essay/the-adolescence-of-technology），以及长文《仁慈的机器》（https://darioamodei.com/essay/machines-of-loving-grace），描绘了 AI 彻底重塑的世界。你们两人的直觉如何看待这个问题：如果人工智能几乎无所不能，接管了人类大部分的工作，这是否意味着人类将无事可做？我们的定位会变成什么？人类又该如何寻找存在的意义？

Dario Amodei：要知道，“意义”是一个非常微妙的概念。一个人存在的意义，难道仅仅来自于在某件事上成为“世界第一”吗？这正是这个时代的核心叩问。如果 AI 在所有领域都超越了人类，人类的价值感难道就会随之湮灭吗？

一个有趣的例证是：在“深蓝”（IBM 超级计算机）击败国际象棋世界冠军卡斯帕罗夫三十年后的今天，人类国际象棋界不仅没有衰亡，反而迎来了空前的文艺复兴。像特级大师芒努斯·卡尔森（Magnus Carlsen）这样的棋手，如今成了席卷全球的文化偶像和流量现象，大家不仅看他下棋，甚至把他当成时尚模特和流行符号。

如果 AI 的胜出真的会摧毁意义，那么在三十年前深蓝获胜的那一刻，人类国际象棋运动就该彻底消亡了。但事实恰恰相反，大众对人类之间下棋较量的兴趣反而更浓厚了。这正是后 AGI 时代人类社会价值重构的一个缩影与寓言。

Daniela Amodei：我觉得今天对我而言意义非凡，因为“工作”与“人生的意义”往往在某种程度上被混为一谈。很多人在工作中找到了人生的价值，我也深爱着自己的工作，并从中获得了极大的满足。但我相信，未来，我们对“工作”的定义和对“意义”的理解都将经历深刻的重塑。

人类获取意义的来源极其广泛：陪伴家人、养育后代、维系友谊，或是通过某种看似工作、实则能够与他人建立深层次联系的方式，找到人生的意义。

以未来的医疗行业为例，我们可以设想这样一个世界：所有诊断分析都由 AI 精准完成，而人类医生的角色则彻底转变为向患者提供情感共鸣、心理关怀与人性化的陪伴。我认为，这种角色转变具有不可估量的价值。如果你去问当今的大多数医生，他们都会欣然接受这样的分工。他们会由衷地感叹：“如果我不再需要把毕生精力耗费在填写繁琐的报表、反复核对诊断结果、开具化验单上，而是能够带着同理心走进患者的内心世界，陪伴他们共渡难关——这不正是我当年立志学医的初心吗？”毕竟，医生选择学医，是为了救死扶伤，是为了帮助他人获得身心上的慰藉。

那么，与我们身处的现实相比，这样一个世界究竟是更有意义，还是更没有意义？现实当然不会如此非黑即白，转变的过程也必将复杂而曲折。但我坚信，人类施展自身价值的空间将得到极大的拓展。只要我们引导得当，人类获取意义的边界不仅不会萎缩，反而会远远超出今天。

Walter Isaacson：Daniela，Dario，非常感谢两位接受采访。

Dario Amodei：谢谢您。

Daniela Amodei：非常感谢，这是一次非常愉快的交流。

来源：https://www.youtube.com/watch?v=1OdoSzfUkec

本文来自微信公众号“CSDN”，作者：苏宓，36氪经授权发布。