对话盛颖：xAI，Infra的浪漫，SGLang，开源，平权与“甄嬛传”
她是xAI前推理团队负责人。
她研究并发起的开源推理引擎SGLang，已经成为众多大模型部署和推理的重要底层工具，也是目前AI infra领域最具影响力的开源推理框架之一。
她本科毕业于上海交通大学ACM班，之后先后在哥伦比亚大学、斯坦福大学取得计算机科学硕士和博士学位。她的研究经历横跨算法、形式化验证和大模型系统。
她就是我们此次的采访嘉宾——盛颖。
大模型浪潮兴起之后，盛颖作为LMSYS开源社区的核心成员，参与推动了一系列具有行业影响力的项目。
之后，盛颖加入xAI，共同领导Grok的推理团队，将开源研究带入全球最前沿的大模型工程实践。如今，她从SGLang开源生态中孵化出创业公司RadixArk，希望把只有少数科技巨头才能拥有的前沿AI基础设施，变成整个行业都可以使用的开放技术底座。
RadixArk创立之初便完成1亿美元种子轮融资，投资方几乎集齐了硅谷所有的算力巨头和技术领袖人物。
这次对谈，我们从盛颖眼中的数学之美、论文和低谷，聊到SGLang、xAI与RadixArk，也聊到了一个人如何逐渐理解自己的天性，并决定不再与之对抗。
盛颖说，她在乎的不是“making impact”，而是那些她认为正确的事情，最终有没有发生。从“世界与我无关”，到“想要构建那个跟强力AI共存、且人类不会输的未来”。以下，是盛颖的故事。
违约金、纽约与数学之美“世界与我无关”
陈茜：非常感谢盛颖，欢迎做客《硅谷101》。
盛颖：感谢你们的采访。
陈茜：我看你们是刚刚搬来这个新的办公室，你们现在大概多少人？
盛颖：对，6月1号刚搬过来，现在有40多人。
陈茜：扩张会非常迅速吗？
盛颖：我们扩张的规模增长得比想象中快，各个地方都需要人，能招进来的合格候选人也比我想象的多，所以我们也稍微有点压力，但已经在控制。
陈茜：今天我们会讲一讲你整个的学生时代，到之后的研究时代，再到你出来在xAI，还有你自己现在的创业公司。
你大学在上海交大上了ACM的荣誉班，2017年就来到了美国哥伦比亚大学读硕士学位。当时出国是因为大家都要出国吗？为什么选这条路呢？
盛颖：确实也是因为当时很多人要出国，但我其实对出国的概念知道得很晚。我从江西到上海读本科的时候，经历了一次很强的文化冲击。我身边的人更理解职业发展、人生发展，他们有更多的规划，而我其实处在一个无知状态。
我记得本科刚毕业的时候，一开始甚至没有申到什么（学校）。我申请了美国的大学，但很长一段时间都没有拿到录取通知。当时我拿到了香港中文大学博士的录取通知，甚至已经接了。但申请是有一个君子协议的，截止到4月15号。
君子协议过了的第二天，我突然收到哥大发来的一个很普通的硕士录取通知。它其实是个很普通的录取通知，很多人都能拿到。但我当时就觉得我想接触一些新的东西，因为那个时候的学术中心还是在美国。哪怕哥大的这个硕士项目不是一个特别顶尖的项目，我还是想出去看看。我当时给我爸打电话，问前面的博士录取通知能不能毁约，我还需要交一笔违约金。我犹豫了一下，但我爸非常快地回答，思考不到一分钟就说：“好，你去。”
陈茜：你说你从江西到上海，其实是有一段文化冲击的。那你从上海到美国，是不是也经历了文化冲击？
盛颖：也有吧。早期的经历里，我确实每一段都是舒适圈被打破。但我在纽约的感受不太一样，纽约是很包容的一个城市。我去纽约的这个冲击其实不太像冲击，我感到不一样，但我觉得自己极大地被包容了。
陈茜：具体体现在什么方面呢？
盛颖：当时纽约的文化让我觉得没有人盯着我看，没有人在乎我穿什么、想什么、做什么，我想要什么。我在纽约感受到的那个冲击，更多的是一个不需要被评判、也不需要评判别人的冲击。这个冲击是从一个被限制的状态到一个完全自由的状态，它虽然是个冲击，但其实是个更放松的过程。
陈茜：我看你在哥大硕士阶段发表的论文还是比较偏理论的，主要是测试函数、线性回归的数学性质。后来到了斯坦福读博士的时候，你选择了形式化验证方向。能不能先跟我们说一下，在哥大你从事的这些研究，对你后来的研究有产生任何影响吗？
盛颖：我刚上研究生的时候是没有想要做研究的。但第一学期上了一门计算复杂性的课，当时觉得很有趣。（注：计算复杂性理论（Computational complexity theory）：理论计算机科学和数学的一个分支，它致力于将可计算问题根据它们本身的复杂性分类，以及将这些类别联系起来。）我又碰巧交了一些当时的博士生朋友，他们都是做理论的。我就觉得这个领域非常有意思，去找老师和这些同学问能不能有一些问题可以研究。研究了一段时间觉得很有趣，也有成果，所以自然而然地就到了斯坦福。
陈茜：你研究生毕业的时候，有考虑过要工作，还是说要申请博士吗？
盛颖：我一开始没有想要申请博士，或者说我也没有觉得我不会申请博士，但我没有盯着这个目标去，我觉得它是开放的，所以我保留了这个选项，探索了一下。后来我发现理论的问题非常有意思，自己也非常享受，当时觉得我甚至不需要赚很多钱，我想stay poor（保持清贫），想找一个没有人的地方。我有一次去普林斯顿参加一个workshop，当时被那个环境直接包围了。我进到普林斯顿那个校园环境里面，突然就觉得与世无争。
陈茜：非常学术，跟哥大不一样。
盛颖：它也不是学术，它就是与世无争。你进到那里的感觉就是，人世间很多大家所在乎的东西、你平时去挣扎沉浮的东西，都非常没有意义，我当时有这样一个感觉。
陈茜：是学校的环境给你这样的感觉，还是说那边的人的氛围是那样的？
盛颖：应该还是那个workshop给我带来的，那个环境加上workshop里的人讨论的氛围感。那个氛围感让我觉得所有事情都是不重要的，人的想法、七情六欲都是不重要的，甚至看上去有点荒诞。
陈茜：那什么是重要的？
盛颖：就是什么都不重要是重要的。这是一种虚无，你觉得虚无才是它真实的东西，只有真实是重要的。
数学在那个环境下就会显得特别美好、特别优美，因为它是确定性的，而且是绝对化的，你在跟它打交道的时候，没有什么其他东西需要思考。它可以让你非常沉浸和专注，或者说你可以在这个环境里面进入心流状态。这个心流状态与人无关，与其他所有事情都无关。大脑被完全调转起来的时候，进入了一种生理性愉悦，我有点描述不出那个感觉。
陈茜：我能理解你的意思，但这个状态我觉得非常纯粹，很像一个会成为数学家的人的状态，但你后来为什么没有成为数学家呢？
盛颖：我当时就是很想成为数学家，觉得我只想做数学。但事情的发展总是不是那么简单，毕竟我还是有生活上的各种干扰。到了斯坦福之后第一年，我就没有那个感觉了。
陈茜：你觉得斯坦福不如普林斯顿纯粹吗？
盛颖：普林斯顿那次只是一场旅行，我人在哥大，但在哥大的时候也能感受到这个氛围。我甚至现在觉得，是不是西海岸和东海岸其实有点这种文化的差异性在。在西海岸，你会慢慢感觉到更多关于成功与否的噪音，你想要参与世界的推动，我又开始觉得我跟世界有关，我不想跟世界无关了。但我在东海岸的时候，我希望我跟世界无关，希望被世人遗忘，是很不一样的一种感受。
我在斯坦福第一年的时候想做理论。那个时候斯坦福是有PhD rotation program（博士轮转项目）的，要配导师，配到了之后才决定你后面5年博士的旅程怎么走。
前面几轮因为各种各样的原因，比较复杂，我没有再遇到很让我觉得能够进入心流状态的问题，也没有跟哪个老师能够双向地都觉得很兴奋。可能老师们也觉得我对他的问题不是特别感兴趣，有时候我也觉得那个老师跟我没有完全匹配上。当我最后到了第四轮，跟我后来的导师Clark Barrett匹配上的时候，就已经进入到一个新的课题了。
Clark Barrett教授是做形式化验证方向的，这个领域也很大，我可以简单讲我当时做的那一部分课题。（注：形式化验证（Formal Verification）： 用数学方法证明计算机系统正确性的技术，核心包含模型检查、定理证明和等价性检查。它不依赖随机测试，能从根本上排除逻辑漏洞。）
我们当时的课题是把人写出来的代码进行拆解和映射，映射到底层的数学逻辑上。你可以把代码映射到一阶逻辑，逻辑出来之后，你就可以从数学角度去证明，你写的这份代码是不是具备某一个性质。
更具体来说，我们有一个东西叫Spec，也就是specification（规范）。（注：形式化验证中的规范（Specification，简称 Spec）是指使用严格的数学逻辑语言，无歧义地描述计算机系统或软件硬件应该做什么、不应该做什么的预期行为标准。）Spec说明了这个代码应满足什么前置条件，它会有什么样的invariant（不变量），代码执行完之后要满足什么样的条件，你可以有这样一套语言去描述这个程序。你要证明的就是，在有这个Spec的情况下，你的代码是不是真的符合了这样一套逻辑。从代码映射到逻辑公式之后，公式之间的证明和推理，就是我做的那个研究领域SMT solver（SMT求解器）做的事情。
我的研究大部分是在SMT solver（SMT求解器）本身的优化。这个优化一方面跟效率有关，一方面跟正确性有关，但它更多的是跟你怎么定义语义有关，就是你定义什么样的语义空间，可以去表达一份代码所做的事情。
陈茜：可不可以简单理解成，用数学的方法来证明计算问题？
盛颖：我觉得可以这么说。
陈茜：在斯坦福，你开始深入形式化验证之后，我们看到你就开始哐哐出论文。2020年拿到了IJCAR（自动推理国际联合会议）的最佳论文奖，2022年拿到了IJCAR的提名，后来又作为cvc5的贡献者之一拿到TACAS的最佳工具论文奖。太高产了，你觉得这段时间你的研究状态是什么样子的？
盛颖：其实真实的过程比外面看到的简历上的内容要干瘪很多，要无聊很多。我在斯坦福前几年的经历并不顺利，一是刚进来第一年找导师就不是很顺利，我是被动地进入了形式化这个方向的领域。因为我要读博士，所以才需要在这个地方不停地做研究、产出论文，我其实是比较被动的状态。当然在做的过程中，我也慢慢欣赏到了它的美感，慢慢理解这件事情为什么有意思，以及后来有了更多的思考，我觉得它其实还有个很有意思的未来。
但最开始做politeness那篇论文的时候，也就是我第一次拿IJCAR最佳论文的那一篇，我非常非常意外。因为我当时是一个完全小白的状态，对这个领域并不了解，导师给了我一个问题，我去解决它而已。做完它的时候，我也没有任何认知说什么样是这个领域里最好的论文，因为我看的论文还不够多。所以这个奖出来的时候，我完全没有想到，是被别人祝贺的时候才得知拿到了这个奖。
那是我进这个领域发的第一篇论文。但发完之后，其实我又重新进入一个很低落的状态，还是没有找到我想做的下一个令人兴奋的问题在哪。在那篇文章做完之后，我记得有一段时间是进入疫情了。疫情期间我其实有长达一年的时间没有做任何事情，接近一年的时间处在一个低落的状态里。
但我遇到了非常好的导师，Clark非常支持我。他当时跟我说，他完全理解我，他只关心我是不是有一个好的精神状态，只关心我是不是能够走出来。他没有给我施加任何我需要继续产出论文或者做研究的压力。他说我可以去上一些课，做一下助教，做一些很轻量级的事情。我那段时间还回国待了半年，是一个疗愈期。我其实没有产出论文，但Clark从来没有断过我的经费，他真的是一个非常好的导师。
我一年之后才慢慢走出来，之后才又做了Sequences那篇论文 。我前面也有过很多挣扎，最后那篇论文的证明应该写了20多页，来来回 回改了四五次，而且有两次我几乎是全部推翻重写。花了一两个星期推出来的十几页的证明，全部推翻，因为你从一开始的地方发现有个基点错了，那个错了之后后面所有的后续推理全部是错的，所以那个证明要从前面一直修正到全部重新推。
但这个过程走完之后很有成就感。最后这个证明完全写完之后，比一开始设想的要复杂很多，Clark和我们都觉得这段证明写出来和这段经历非常有满足感。我记得那个时候Clark自己也说，那篇论文里的证明是他过去一年的高光时刻。这篇论文当时也是最佳论文提名，大家讨论过，但最后没有被选上，不过很接近。如果说我在形式化验证的工作，这篇论文可能是我觉得最愉悦的一段时间。从这篇论文开始，我开始看见了形式化理论里面一些深刻的含义和它的优美之处。
陈茜：它的优美之处在哪里呢？
盛颖：它让我理解了程序语言设计的几个不同角度。形式化的方法去设计语言，其实是从数学的角度去理解程序语言。程序语言我打了20年的交道，但我从来没有以这样的角度去看待过它，它给了我一个全新的视角。你会发现，程序语言里面在不同角度上也有很多的取舍。
有一些语言更接近数学，有一些语言更接近硬件。你其实很难有一个支点，让一个语言离数学和硬件都很近。接近数学的语言更容易被验证、更容易被形式化，接近硬件的语言会更灵活、更高效，也更接近人的思维习惯。当你需要编程硬件里面的具体运算的时候，这样的mapping（映射）就更直接。
陈茜：最后你没有再往这个领域继续走下去，原因是什么呢？
盛颖：我看到了它有意思的地方，但我同时也看见了这个领域的局限性。它能够在现实中被实际应用的场景太少了，你要验证一个程序所需要付出的费用太贵了，但它能验证的又很少，所以不能产生足够大的影响。当时我觉得我想离世界更近一点，还是想要做更接近真实生活的东西，所以那个时候就开始探索AI，开始寻求双向转化。
但我想要开始探索AI这个过程其实也不太顺利，可能又有一年时间的空窗期。你看上去我的论文发表没有停，但其实我中间有很多的空窗期。
陈茜：外界看的空窗期跟你自己定义的空窗期是不一样的。
盛颖：我自己定义的空窗期，就是那段时间我其实没有取得任何进展。我转AI的时候，又有大概一年的时间没有任何新的想法和进展，实际上没有做任何事情。可能长达一年之后，我突然某个时间找到事情可做了，三个月就产出了一件事情。但在外人看来，你会觉得那个作品是我过去一年的成果，实际上它是我过去一年里最后三个月的成果，前9个月我都在一个归零的状态、完全不知道自己在干什么的状态里。
陈茜：我非常理解这个过程，就像我们记者写稿子也是一样的。给我一个月的时间，前面29天我都在做调研，或者是放空，或者是采访，其实这个稿子是用一天时间写出来的。
盛颖：对，所以你看上去，比如我做形式化验证发了3篇论文，分布在3年时间里面，但每篇论文真正推动其实都只花了3个月，然后这3年里面每年都有9个月不知道在做什么。
陈茜：其实也不叫在做什么，你可能是在找到你想解决的问题。因为我听下来，找到一个你真正感兴趣的问题并且解决它，真的是你的一个驱动力。
盛颖：是的。我确实有一些特点，就是我没有办法妥协，后来我服从了自己的这个特点。我原来不理解我自己的时候，我会尝试努力去适应一些规则，但后来发现我自己是不能被勉强的。我没有办法做我不感兴趣的事情，我能做，但其实我没有办法做好。只有这件事情让我觉得非常兴奋，我才有可能把它做好。
陈茜：这是一个特别纯粹的性格。你什么时候发现这个性格就是这样了，我必须要去服从我这个性格呢？
盛颖：这是一个缓慢发展的过程，倒也没有某一个时间点突然顿悟，它是一个我慢慢意识到、终于有一天我完全接受它的状态。我完全接受它，可能是在博士的最后一两年。
顶刊、低谷期与甄嬛传 “世界又与我有关了”
陈茜：你本身是一个喜欢intense（高强度）的人吗？
盛颖：我是一个必须intense（高强度）的人。
陈茜：从小就是这样，我觉得从你发论文的数量跟节奏就能看出来。
盛颖：对，我没有办法，我哪怕睡觉的时候也会一直做梦，我没有办法停下来。
陈茜：你做梦也会梦到跟你研究或者工作相关的事？
盛颖：那肯定会啊，我的梦都还是挺有关的。
陈茜：就说明你在睡觉的时候，你的潜思维其实还是在工作。
盛颖：也可能是生活，工作生活都有，但它一般来说都不是没有任何关系的东西。肯定会有虚假的成分，会有想象的空间，但它不会是毫无关联的。
我觉得我博士经历的那段低落时期，就是因为那段时间太无聊了。疫情的时候大家都放慢了，我根本没有办法在一个慢速的环境里面保持我精神的健康。
陈茜：所以就是一定要忙起来，才能让你健康地运作。
盛颖：我不一定要忙起来。我硕士做理论研究、做数学研究的时候是不忙的，那个时候你是很沉浸的。因为那个问题就是你除了看着这张纸在那想，其实没什么能做的。我看上去很闲，每天可能也就想4个小时、工作4个小时，然后我就去打游戏了。因为做理论非常不一样，做理论就是有很多灵感，你只能等它来。其实你没什么事情可做，只能在那等着那一刻来临，所以我有大量的时间去打游戏。所以我硕士期间打了好多游戏，因为那些问题都太难了，你没什么事可做，只能空想。
陈茜：在游戏中灵感来了，然后去写一写，是吗？
盛颖：有可能。其实我当时那个题目解出来，是在我看电视的时候想到的。我也不知道为什么看着电视，但确实那个情境是我看电视之前看了一篇论文，然后我就开始看电视去了。看到中段的时候，不知道为什么那篇论文里的东西突然回响出来，然后我突然又想到了论文里的那个点，突然意识到这个地方可能是一个解法的突破点，就是关键点。那个问题被解决的那一瞬间，真的是有一个phase transition（状态转变），是一瞬间的事情。然后你这个电视剧看到一半，突然想我怎么突然知道怎么解决这个问题了，暂停，去写证明。
陈茜：你还记得是什么电视剧吗？
盛颖：《甄嬛传》，我是真的记得。
陈茜：太神了。我一般是在洗澡的时候会有灵感突然击中，但是电视剧我觉得我很少，因为看电视剧还是要很沉浸的。看起来你看电视剧的时候，你的潜思维还是在一直思考一些事情。
盛颖：我确实是会这样。前面说到我跟我自己和解，是我以前不知道ADHD（注意力缺陷多动障碍）这个东西，后来有一天我慢慢地了解到有个东西叫做ADHD，然后我看完各种症状、深入理解之后，发现好多东西都可以被解释。
但ADHD它不是一个疾病，它是一个特点。当我了解到ADHD这个东西的时候，它给我带来最大的帮助不是别的，而是我通过理解它而理解了我自己，像是我找到了怎么使用我自己的一把钥匙。我突然知道了，我不应该逆着我的短处、逆着我的天性去做事情，我应该顺着我的天性去做事情。你一旦悟到了这个之后，很多事情就迎刃而解，其实很多事情你是不要勉强的，是没有必要勉强的。就像我前面说的，我只能做我喜欢做的事情，当你把这个当成真理的时候，你就不再跟它对抗了。
所以我看电视的时候也是不专注的，我看电视的时候会跟不上电视的内容，经常要往回拉，想刚刚讲了什么。比如30分钟的视频，我经常看四五十分钟才把它看完。
陈茜：比如说你自己在做研究，或者你在工作的时候，什么样的时候你会非常专注，什么样的时候你其实是没有办法专注的呢？
盛颖：我自己特别被它吸引的时候，我非常专注。这个是两极化的，我专注的时候会听不见别人叫我的名字，会不记得时间，不知道外面发生的事情，会错过很多个会议。不专注的时候就是根本没办法专注，哪怕这事情很重要我也无法专注。
可能《甄嬛传》对我来说不够吸引，所以没那么专注。打游戏的时候非常专注。有些竞技性运动也会。因为它要非常高强度、非常激烈，它要有竞争。游戏的话你是对打，有输赢，球类运动也是有输赢，这个时候我就会非常专注。
陈茜：所以你是一个好胜心很强的人。
盛颖：我觉得我不是真的很在乎输赢，但是我在乎那个高强度的感觉。我游戏可以输，打比赛也可以输，没关系，我不会觉得我非要赢。但是这个机制设计进去了之后，我会很享受心流状态。你的大脑被抓住、人非常专注的时候，那个应该就叫心流状态，是很享受的。
陈茜：所以打游戏、研究、学习，这些上面你都可以获得你的心流状态。
盛颖：对，学我喜欢的东西可以，所以我非常偏科。
陈茜：竞赛圈其实是一个很有天才标签的圈子，你觉得天才这个词在你身上安得多吗？很多人会跟你说：“你从小是个天才”吗？
盛颖：不多，我在的那个环境里面，总是有比我更强的。比方说我在ACM班，ACM班里面有很多比我更强的。
陈茜：所以你觉得努力这件事情更重要，还是天分这件事情更重要？
盛颖：我赞同天分。
陈茜：那你觉得在研究上面，天分主要表现在什么样的方向呢？
盛颖：天分是指，当外界人不把研究当回事、不觉得研究是件伟大的事情的时候，你还想做它，那就是你的天分。我觉得大部分时候，天分和兴趣的相关性还是蛮强的。
陈茜：可能很多人想当研究员，但不是很多人都能研究出来或者解决这个问题。你能解决这个问题，肯定是有你的天分在。
盛颖：对，是有天分的。但我其实首先不觉得大多数人真的想成为研究员。我见过太多的人，他们想做研究、想成为研究员，是因为他们觉得这件事情酷，是因为外界的环境让他们觉得这件事情很酷。
如果当所有人都开始觉得当教授是一个被人唾弃的职业的时候，他们马上就不会想做了，这你能识别出来。但在我当时想做这件事情的时候，其实我是逆着来的。比方说我在的环境里面，大家也没有觉得做理论是件多么伟大的事情，你赚的钱也很少，但你还是觉得它有意思。我想做这件事情，是因为我希望跟别人无关，是因为我享受这种无关。那个时候才是你真正的所谓的兴趣和天分所在。我也不敢说我有天分，我毕竟也没有发明过什么，也没有什么巨大的数学成就，我也不能算有天分。
陈茜：你肯定是算有天分的，不然的话你论文怎么能发那么多？
盛颖：有很多人论文发得很多，比我发论文多的人还有很多。因为发论文本身是一个技能，是有套路的，一个人根本就不怎么懂研究，他也能咵咵咵发很多论文。你只要掌握了这个规则、掌握这个体系的规律，在同样的规律里面不停地产出，你就可以一直发很多的论文。
但发论文、做研究和真正意义上的科学家，是三件事情。首先，发论文跟打工人是一样的，是一个非常平凡的事情。
做研究的话，有很多研究其实是不突破的，也是不关键的，但不是没有价值。所以做研究仍然是个职业，只不过是我作为一个研究员，我喜欢享受做研究，所以我在这里做研究，而并不是我比别人更有天分。我没有天分，我也可以是个研究员，所以研究员只是一个职业。
但我所说的科学家，这个名词我可能也用错了，就是还有另一类，是真正在推动人类知识边界的人，这批人是非常非常少的。我的标准也很高，在我眼中真的在推动，是指“如果不是他，这个事情会晚很长时间发生。”这个是被我定义的所谓真正的科学推动者，就是推动人类边界的这批人。这批人就非常非常少了，绝大多数的教授可能都不是，他们还是在第二类，是研究员。
陈茜：所以图灵奖的这三个人Geoffrey Hinton、Yann LeCun、Yoshua Bengio，你觉得他们是科学家吗，或者是你定义的第三类人吗？
盛颖：应该是吧，不过我没跟他们直接接触过，所以还是不给我的直接定论。我非常在乎一手信息，非常在乎求真。我不想评价我没接触过的人，但既然他们世俗成就这么高，他们应该是的。
谷歌实习 最早的“Al for code
陈茜：你在谷歌实习是2022年的暑假，你是在谷歌实习了之后想要转去做AI，还是在谷歌实习之前你就看到了这个方面有非常大的前景，发展得很快了？
盛颖：我是在去谷歌之前就想要转AI，因为想转AI所以找了那份实习，那份实习是AI for code（用AI编程）。我之前也尝试了一些其他的纯AI岗位，他们都不收我，我都没有拿到机会。这一个岗位跟程序分析有一点关系，我因为这个背景被招进去了。所以我接触到了AI，但我其实是因为想接触AI才进去的。
但是我进去之后发现，当时的人们做AI for code的时候，还企图利用一些原来程序分析里面的技术或者工具，非常无力，其实什么忙都帮不上。
这是AI人的一个幻想，说我是不是可以利用另外一个领域的工具，是交叉学科的这种希望，利用另外一个领域的工具来帮助更好地解决这个问题。但我作为从另一个领域过来的人，其实发现这个工具非常无力。当时就是看到了大模型已经是编程直出，我反而看到的是大模型其实已经把传统领域里的技术都完全覆盖了。
陈茜：那个时候其实还挺早的，2022年ChatGPT应该还没有出来。但是在谷歌内部，大家其实已经看到了这个方向了，是吗？
盛颖：我估计其他的公司肯定也是有的，但确实ChatGPT还没有出来。那个时候是谷歌刚出PaLM，内部有那个LaMDA，大家其实已经有所感觉了，只是没有到全民爆发的阶段。
陈茜：当时好像有个谷歌的程序员，他号称LaMDA是有意识的。
盛颖：对，就是那个时候。
硅谷101视频节目：《谷歌的人工智能有感知了？》，发表于2022年7月11日
陈茜：我相信很多程序员可能也是第一次、以很新鲜的感觉去接触AI，才会有它到底是不是有意识的这种讨论。
盛颖：对，确实已经很多人看见了那个很大的潜力。但是当时的模型潜力，离真的生产代码还有挺大距离，我记得当时都是做一些生成一两百行的代码。
陈茜：当时你们AI for code那个小组有多少人？
盛颖：那个也是谷歌内部孵化的创业项目，在Google X里面。全职的我有点不记得了，但好像一二十个人吧。那个暑假他们非常激进，想要尝试很多方向，所以招了跟全职等量的实习生，让这些实习生全都去疯狂尝试不同的方向，希望能从中看到一点东西。
陈茜：后来这个实习结束的时候，大家看到了什么东西？
盛颖：我觉得当时那批人里，很多人在实习之后就一直在做编程这个方向。
那段经历对我的影响很大。因为我原来是不知道AI是什么事情的一个人，进来之后看见了AI原来这么强大，我发现原来根本就不需要什么显式的推理。我是被震惊到的那个人，它让我非常坚定地进入了这个新的课题，我就要做大模型。
陈茜：但大模型其实有很多分支跟不同的垂直领域，你为什么选择了做infra（基础设施）的赛道呢？
盛颖：其实也不是我选择的。我也尝试了不是infra的赛道，想分析一下算法上的事情，但我发现我更适合infra。算法那边可能没有太成功，infra成功了，所以最后就是我的爆发都在infra这一侧。做infra跟我的思维习惯更接近，它是co-reason（协同推理）的、确定性的，基于数学的，也是基于代码的，数学和代码这两件事情我都很熟悉。
陈茜：你最开始做SGLang是什么样的一个契机？
盛颖：我转了AI之后，最后博士的两年就是在做LLM inference（大模型推理）相关的很多研究。FlexGen是我的第一个研究，从连续的一系列研究到SGLang，它类似于成为了一个收官之作。
我那个时候可以毕业了，也觉得我已经做了很多不同角度的研究，但它们都比较局部，SGLang是我希望把它们都集大成为一体的一个作品。所以做SGLang的时候我们就开始把它做成开源，希望走向的是product-ready（部署就绪状态），这个从一开始就想好了。从做SGLang之初，就希望它做成一个可以被大规模广泛使用的部署就绪的推理引擎。
陈茜：其实在你做SGLang之前，vLLM已经推出了半年多了，你之前在vLLM也是做了一些项目的。为什么已经有这样的一个东西，你自己还是想要做SGLang呢？
盛颖：这个历史也比较长。我在vLLM的研究论文上，其实本来我自己也在做研究。当时我听到有这个vLLM项目的时候，vLLM当时的想法跟我们在思考的另一个想法是类似的。所以当时有人说，那既然我们想法类似，那我要不合并进那个项目？所以在我的视角里，我是被合并进了vLLM那个项目，因为我觉得这个项目已经在做我想做的事情了。
vLLM做开源其实是论文之后的另一个节点，并不是在论文的时候就是一个开源项目。真的把它推成开源了之后，你就要做很多除了研究之外的、不仅仅是创新的事情，你要做项目的维护、社区的维护，还有很多工程细节的琐事。
那一段我就没有太参与，但我还在继续做我自己的其他研究，包括S-LoRA、SGLang、Fairness这些事情，也就是Serving（在线推理/模型部署）里面其他的问题。SGLang是一个我想要把我的思想在一个地方继续往上推的地方。本来它也是以某一个创新为起点，去做成一个general engine（通用引擎）。在我看来，当时有很多这样的serving engineer（服务引擎），SGLang是其中一个，并不是说我在vLLM这个引擎里面做到了SGLang引擎。
陈茜：那SGLang跟vLLM的核心差异性有吗？还是说其实大家都差不多？
盛颖：不同的团队做出来的肯定不一样。但如果你不把时间维度放进去的话，它们是会类似的，因为如果你有好东西，一定会相互学习，会趋同。但你如果把时间放进去的话，每个时刻大家可能会有不同的侧重点。
比方说，SGLang实际上更早地进军了scale up（规模化）的方向，把大规模的serving（模型/推理服务）、生产，这种千卡级别、万卡级别甚至十万卡级别、百万卡级别的serving做好了。vLLM可能在社区的覆盖、长尾模型的支持上做得更早。所以大家的专注点是有所不一样，但你现在去看的话，可能两方又在互相学习，在补齐短板。
Databricks：人生导师Ion stoica与“making impact”价值观
陈茜：2024年的时候，你在Databricks做过5个月的时间，当时公司的联合创始人之一Ion Stoica，也是之前伯克利的教授，他跟你有什么样的合作吗？
盛颖：他是我在伯克利访问的时候的教授，所以我们在伯克利的时候就一起做了很多研究，他在专业水平上给我带来了很多启发。
我跟Ion Stoica一直保持联系，他除了是我那个时候研究上的导师之外，他也可能是我终身的一个导师。我觉得Ion Stoica还是个很特别的人，当然他这么成功，那肯定是很特别的一个人。
陈茜：你觉得他特别之处在哪里？
盛颖：他其实是个很立体的人，他做很多事情，同时开很多公司，还是一个教授。但如果你真的靠近他的话，他骨子里最自我认同感高的还是教授这个身份。教授和学生，这是他所有身份自我认同感的根源所在。
他很在乎making impact（产生影响力）。Impact（影响力）可能是他做所有事情的动力之源，他也把这个精神传递给了他的学生，所以他底下的学生和跟他一起共事的人可能都受到了这个影响。但我其实不一样，我在另一个价值观里面，但是我能理解这套价值观。
陈茜：所以making impact（产生影响力）不是你的价值观，你的价值观是什么？
盛颖：我在乎的不是making impact本身。我会在乎一些我想要make的impact。如果我觉得有一种影响力、有一种价值观，我希望它被执行和被推向这个世界，那么我就会非常努力地去推动它、希望它发生，我会尽一切努力。但其实我不是完全在意这件事情是不是我推动的，别人推动也可以，如果有人愿意帮我把这个事情推动，那太好了。但一般来说不会有这样一个人。我慢慢学会的是，我真正自己想做的事情，没有人会代劳，因为别人有别人想做的事情。最后你自己真正想做的事情，只有你自己能够长时间地为那一件事情去奋斗，然后让它发生。所以在这个逻辑上，我觉得是有一些微妙的不同的。我在乎的是impact，不是making。
陈茜：所以在另外一个价值观里，making impact有可能是说我希望我个人有impact，但是你更在乎的是这件事情本身。
盛颖：对，我更在乎有一些我觉得正确的事情发生。这个有时候会让我显得很opinionated（有强烈主张的），因为我会有一些观点，会非常希望我的观点发生。但我其实不是在乎它是不是我的观点，而是这个观点不知怎的就被它intrigued（产生兴趣）了。
xAI的美好V1.0时代拥有“support”和“freedom”
陈茜：说一下你在xAI的一些经历。2024年10月份你加入了xAI，当时为什么选择xAI呢？
盛颖：我当时博士刚毕业的时候，想要推广SGLang这个项目。到目前为止，从我开始做SGLang之后，我的整个plan（规划）都跟SGLang紧密相关。我当时刚去Databricks的时候，想要在Databricks里面推广它，或者说我至少要找到一个地方可以好好地开发它。我也不一定说它能够取代所有的技术栈，但我希望有一块地方可以让我好好开发。
我在刚加入的时候，觉得Databricks跟我说有这样的自由。但实际上Databricks里面的业务模式还是不那么一样，而且它毕竟是一个已经很成熟的公司，不是你可以随便说我想做什么就做什么，它做每件事情都需要充分的理由。我作为一个新毕业的研究员进去，其实也没有太大的权力，我自己也不够成熟，怎么在一个成熟的企业里面去推动一个比较大的项目，我还不会这件事情。所以我觉得当时那几个月的尝试没有特别成功，可能也造成了一些影响，但不算特别成功。
xAI给的这个机会，就是它愿意去支持我。Lianmin是我的丈夫，他那个时候已经在xAI，在那之前还是在做训练。正好xAI到了一个节点，需要去做production inference（生产推理），就有了这样一个机会，我和Lianmin可以去xAI共同建立整个推理技术栈、整个推理的解决方案和团队。所以它可以给我两样东西，一个叫做support（支持），一个叫做freedom（自由）。同时有support和freedom的时候，我就能做这件事情了，所以我就选择加入xAI。而且当时应该只有xAI真正给我这两样，我有些其他的机会，有些是只给support，有些只给freedom。
陈茜：确实，能支持你去做这个事情、又让你自由地去做这个事情，这个机会其实是蛮罕见的。是不是也是因为xAI那个时候比较早期，所以才有这样的机会？那个时候的xAI是什么样子的呢？在你能说的范围以内，给我们描述一下。
盛颖：我觉得xAI是我生命中非常重要的一部分。虽然我没有工作特别特别多年，但我在很多地方工作过，xAI的时光是我回忆里最美好的一段时光。
而且我离开xAI的时候其实也非常不舍。我离开xAI，是因为SGLang开源的一些需求，我觉得到了一个节点，不得不出来把RadixArk这个新的公司扶起来，然后让我们社区能够很好地继续发展。但如果不是因为这个原因的话，我是不可能选择离开xAI的。也不是说完全不可能，但我非常非常不希望，也不舍得离开xAI。
而且我觉得这个想法不是我一个人有的。我知道在我们早期的那一批员工里面，很多人都有类似的想法。甚至有些人可能在xAI的工作已经有点承受不住了，因为压力强度都很大，但他们还是一直在里面坚持，就是因为他们不想离开这群人，我的想法是类似的。
陈茜：所以是这群人，你们形成了一个非常好的团队的感觉。
盛颖：对，我觉得早期的、我所体验到的那个xAI，里面个个都是人才，大家互相之间也都很支持、很友善、很欣赏、很谦逊，这是当时xAI给我的印象。
陈茜：跟你的价值观很像。
盛颖：对。我觉得当时在xAI我能够非常专心地做事情，没有太多的杂念，而且大家都是这样的，都能够非常直白地做事情，都知道把事情做成最重要。我经历过那么多公司，在RadixArk之前，那是我第一次经历到一个公司里面完全没有任何人际博弈，没有任何办公室政治，当然后面公司大了可能慢慢地也会有。
陈茜：那时候xAI多少人啊？
盛颖：我加入的时候不到100人吧。
陈茜：100人没有办公室政治还是挺难得。
盛颖：可能也有，我没有看见，但至少我看见的范围里面，我没有看见办公室政治。我很幸运地在一个能够非常好地思考问题的环境氛围里面，我只要思考怎么做事情，我身边的人也在思考怎么做事情。大家也会有一些摩擦，那很正常，但那是一些不影响团结的摩擦，这些摩擦不影响我们始终在一起。我觉得现在我们在RadixArk，是带过来了这个氛围的。
陈茜：那好棒。你把你在xAI的时候描述成V1.0（版本），你没加入之前是V0.0（版本），那可能现在是多少？V3.0、V4.0（版本）？
盛颖：我也不知道大家怎么定义的，因为后面我也不在了，我只能听大家的说法，但是我能够感觉出有那么几个阶段。
陈茜：所以V0.0（版本）跟V1.0（版本）的时候是非常美好的，那个时候Elon的重心也不在你们身上。
盛颖：对，一个也是因为V0.0（版本）的时候Elon不怎么在。V0.0（版本）是我听说的，我不在V0.0（版本）里面。v0.0的时候Elon对大家都非常好，应该是非常非常美好，在我听下来像一个家庭一样。V1.0（版本）的时候其实已经开始生长了，已经开始有生长痛，V1.0（版本）的中途Elon回来了。但我觉得就算在那个时候，V1.0（版本）里面产生的阵痛，大家也还是共同克服难关的，我没有感觉到军心有什么动摇。我觉得大家都非常团结，也彼此照顾，至少在我接触到的视角里，大家是彼此照顾的状态，是构建了一段战友情的这种感觉。
陈茜：这段故事特别珍贵，是因为它跟现在大众对xAI的认知差距非常大。因为现在大家的认知是，前段时间xAI的联合创始人全部都离开了，要么被解雇，要么被裁员，或者自己辞职，就感觉这两个叙事好像在说两个不同的公司一样。
盛颖：确实很不一样。因为后面公司大了，我觉得xAI是没有过那个阵痛期的，没有过那个从一个很小的、很团结的创业公司变成一个需要靠体制来运转、而不是靠人来运转的大公司的状态。它这个过渡期的阵痛没有很好地抚平掉，所以产生了这些巨大的变化。但有天它可能又会找到一个新的solution（解决方案），因为xAI还在那里，新的人员在新的组织架构里，有天它可能会找到一个新的解决方案。只是从人员上来看的话，可能是另一家公司了，但反正Elon还在。
陈茜：对，这是最重要的。然后xAI又被SpaceX收购，也上市了。这一段对组织架构的震动期，你肯定有你的观察。你觉得对你之后做创业公司，因为你们现在也是几十个人，可能很快会到上百人、几百人的规模，会对你有什么样的经验教训吗？
盛颖：有的，我知道我们现在就在一个很美好的时期，这段时间一定会成为我们所有人以后人生中非常珍贵的一段回忆，但是我们也一定会面临scale up（扩大规模）的挑战。你在人少的时候是可以通过文化、通过人的管理去实现运转的，但scale（规模化）上去了之后，文化就很脆弱了，人也很脆弱了，个人能力都会变得很脆弱。那个时候你能不能把公司做大、能不能把一件事情推动好，更多的就是看你的体系构建得怎么样，最后是靠体系去支撑的，而不是靠人去支撑的。
这个转变，我其实不知道正确答案，因为我没有经历过。但是我能学到的经验就是，这个过程要非常intentionally thinking（有意识地去思考）。它不是一个会自然发生的事情，不是你只要公司有这个计划，然后往前推进，有scope（业务范围）、有事可做，你就理所当然会得到的东西，它不会。如果你不上心，它就会破裂。
陈茜：当时你在xAI给Grok构建推理系统的时候，你的主要任务是什么？
盛颖：我们是负责engine（引擎）那一块，同时要服务其他很多组。包括product service（产品服务），产品服务是他们会做deployment（部署），我们需要跟他们对接，他们遇到问题回来会报给我们说引擎里面有什么问题，我们也要帮忙做部署上的一些协调、configuration（配置）什么的。也要跟研究团队合作，研究团队做评估、跑RL rollout（强化学习采样），用的也是我们的 inference engine（推理引擎），所以我们也要去支持他们这个业务里面的各种适配。
陈茜：当时在xAI的时候，它整个的算力系统也是非常庞大，后来又买了非常多这样的卡。你觉得在整个过程当中，你是不是在里面受到了全栈的训练？这对你来说产生了什么样的影响呢？
盛颖：我觉得在xAI的机会就是能看到所有东西，因为当时团队小，所以能看到。而且我觉得Elon还是设置了一个我很喜欢的文化，Elon虽然有一些他的问题，但他有一些很突出的地方，我很喜欢的地方就是Elon能设置一个没有边界的文化。
就是在xAI里面，至少我还在的时候，我觉得任何事情我都是可以接触到的。当然组与组之间是被隔开的，但不会说你必须限制在一个很小的范围里面只能做这一件事情，你不知道外面发生了什么，xAI里面是不会这样的。也没有特别多的人员管理，xAI里面全是技术性的，而且它非常重工程师文化，所以你做事情可以非常直接。
这样一个文化就使得我能够看见很多个层面、很多个模块之间大家是怎么合作的，事情是怎么发生的，它作为一个整体是怎么发生的。这个给我带来非常大的成长，因为原来我确实没有办法看到这么多的东西。
并且在xAI因为强度很大、压力很大，人都是被train（训练）出来的，你只有经历过那个intense（高强度），你的成长才会撕裂开来。就像你健身，你一定要很累了、感觉到痛了，肌肉才会长。xAI的这个高强度给我们带来的成长，就是你在那里待了一年，可能是在外面好几年才能拿到的成长。
RadixArK：两个月也等不了
陈茜：你当时决定把SGLang商业化，去成立RadixArk，是一个什么样的时机点？
盛颖：这是因为当时在2025年的时候，前面有几波浪潮把SGLang推到了一个还不错的被关注的点，然后有很多的需求向我们涌过来，想要使用、让我们参与一起开发之类的。但是我们社区，虽然最早我们也是在大学里面做了一些研究，但从很早的时候开始，SGLang就已经变成一个纯社区项目，我们的核心开发者都是网上认识的，我们都是网友，就跟我小时候在网上学习一样，大家可能都没见过面。
到现在还是有那么几个核心开发者，我们已经共同工作了两年了，我还不知道他们长什么样子。我们已经开了很多次会，但是从来没有开过摄像头，也从来没有要求过对方开摄像头，大家是有一个默契的。这个默契就是，我只要看到你的代码，我就知道你是谁，我也只想看到这个部分。
陈茜：所以开摄像头或者是真正地认识对方这件事情不重要，还是说大家都是i人，所以不想开摄像头？
盛颖：我觉得大家没有i到完全不想开摄像头，没有这么夸张。我觉得是它自然到你根本没有想起来这件事情，没有说大家拒绝开，但是自然到你根本没有想起来。
SGLang是个这样的社区，但是这样的社区也会导致我们大家其实没有那么有组织纪律性。虽然大家都很有热情，也非常在乎这个项目，但你还是很难让大家有时间去把项目非常严肃地做好，做成一个成熟的、高质量水准的项目，除非我们有自己的公司，除非它变成我们的全职工作。
陈茜：因为我理解，大家其实有自己的全职工作，只是用其他空闲的时间来为这个社区做贡献。
盛颖：对，就是晚上熬一下夜、通个宵，周末再工作一下，放假的时候过来写代码，这样子去维持。但是我们当时的增长快到你不可能用这样的方式去维持，而且我们那个时候接到很多需求，想要去抓住这些机会，想要跟对方合作，想要交付一些东西。我们还是强撑了一段时间，但强撑的那几个月之后发现的就是没有办法交付。其实大家都是很想交付的，但你知道这个团队已经不能再透支了，它就是被团队的带宽限制住了，我们没有办法很好地交付，都是勉强低空飞过，或者甚至没有成功交付。
所以到了大概7月份那个时候，我自己的焦虑已经到了一个程度，我觉得如果我们再不出来做这件事情，我再不把这个背后实际上是中空的空白填充的话，我们就快要让外界失望了。所以我焦虑到一个我觉得没有办法再拖的状态里，才从xAI出来。
陈茜：从xAI出来应该放弃了很多金钱上的回报，对吧？
盛颖：那倒也没有，还好吧。而且Lianmin他在xAI，他比我多。但我确实是没满一年，我是有一年cliff（悬崖期）的，我出来的时候是10个月。其实我只要再待两个月，我就可以拿到我第一年的vesting（股权兑现）。
陈茜：所以两个月都不能待。
盛颖：对，等不了了。等到7月份已经是等了很久了，其实我可能5月份就已经有点受不了了，到7月份的时候已经实在受不了了。
我的心理状态到了一个我没有办法专注做xAI的事情、已经没有办法高效地生产我对xAI的价值的地步。但我不能忍受自己在这样一个状态里，如果我是在xAI上班的，我就觉得我要对它有用，不然我就会觉得我不配在这个地方。所以我当时已经到了一个我觉得我不配再继续待下去的心理状态，它不是我能控制的。
陈茜：你觉得金钱对你有任何的重要性吗？
盛颖：有必须性，没有重要性。它的必须性来自于有金钱可以让我解决很多事情更容易，这个我还是承认的，我没有追逐过它。但你真的说它不重要吧，我也没有到那个程度。
它能够给你带来的底气就是，比如说我想创立这个公司，如果有天我融不到钱，我自己还有钱，这是它对我的意义。
Two sigma “有组织的公司”应该有的样子
陈茜：你在哥大毕业之后，其实是到了华尔街的一个对冲基金，叫Two Sigma，在里面工作了有半年的时间。那段经历是什么样子的？大家觉得纽约、华尔街上纸醉金迷，在一个对冲基金里面，好像跟你之前做研究的氛围是不是会完全不一样？
盛颖：我们那个对冲基金是一个tech（技术型）的对冲基金。当时是因为我有一任前男友是学金融的，所以我确实是想要接触金融，觉得挺有意思的，有点好奇。当时大家的说法也是，量化里面的人很聪明。
我不知道为什么，我就是喜欢聪明的，喜欢跟聪明的人说话，喜欢做有挑战的、跟智商挑战的事情。所以它这个特点当时吸引了我，当然这也是吸引很多其他人的原因。反正那个时候我也就21岁、22岁吧，单纯地被这东西吸引，然后我觉得我要去体验一把。我觉得这个事情我要是不体验的话，以后我会一直想着它。但我又觉得金融不是我的人生追求，天天在那玩钱没啥意思。所以刚好读博士中间隔了半年的空档，完成一个体验，挺好的，我就去那里做了半年。
那半年的回忆也非常好，如果要我排序的话，我工作过的所有公司，排第一的是xAI，排第二的是Two Sigma。但我听说，我在的时候又是Two Sigma最好的时候。我很幸运，我每次在都是它最好的时候，后来可能就有些变化了。
我在的时候是Two Sigma最蓬勃发展的时候，他们那段时间甚至拥抱开源，是做开源项目的，非常拥抱科技，也拥抱新技术、AI、大数据什么的，那时候还在讲大数据。里面的人非常互相帮助，我没有感受到任何多余的东西，所有人都只是在做事情，所有人都非常开放，非常喜欢分享，质量也很高。当时交到的很多朋友，到现在也还是我的朋友。
陈茜：他们大部分人还继续在华尔街量化里面，还是也都会出来开始做AI？
盛颖：都有，有些出来的，有些还在里面。Two Sigma让我看到一个非常有组织的公司的样子，其实我当时不觉得，但我后来去了其他公司之后再回想，觉得原来其他地方这么乱。Two Sigma都不是一个科技公司，但是Two Sigma的infra跟其他的比起来是最稳定的一个地方。
陈茜：有意思，你觉得原因是什么？是公司文化就是这样的吗？要让它非常干净、整洁。
盛颖：我觉得是它的剧变不多，它的业务模式比较稳定，所以大家可以在那里一直做维护，大量的维护。
陈茜：所以做金融，追逐回报的数字、赚钱这个事情，在你这边就不是priority（优先事项），你只是想体验一下。
盛颖：对，我只想体验一下，体验还不错，但我一开始就知道那不是我的priority（优先事项）。
SGLang：“Al Infra是浪漫的”
陈茜：我们再科普一下技术，你们在做的LLM infra（大模型基础设施），是什么样的事情？在解决什么样的问题？
盛颖：Infra（基础设施）分好几个模块。我非常模糊地说，我们长远的目标和结构性思考是希望RadixArk能在一个地方给你提供很好的基础能力，让大家根据不同的使用场景、不同的数据形式、不同的产品目标和不同的survey（探索）目标去做事情。你有可能希望模型解决一个很简单的问题，但你希望它很快。又或者是它要解决一个很难的问题，但可以比较慢。不同的目标，你都可以用这套工具源源不断地产生适应你不同目标的最好的模型。
我们希望把这个foundation（基座）做出来，这个foundation我统称为infra。它会包含大家传统意义上所理解的推理引擎、推理和训练、后训练，这些都是大家脑中传统的关键词。我还想在这里加一个component（组件），就是基座模型在我看来也是infra。整个这个foundation里面包括了所有你需要的ingredients（要素），包括codebase （代码库）、toolbox（工具箱）、sandbox environment（沙盒环境），和一些中间状态的模型checkpoint（检查点）。
它们在一起变成一个工具箱，你可以在这里进行组合，去不断产生更适用于你的场景和目标的特异化模型。整个这个工具箱、这个foundation，就是我们要做的infra的部分。
现在因为要聚焦，一步一步来，所以我们现在是聚焦在推理和RL（强化学习），它们处在生产模型整个流程的末端。假设前面已经走完了，我的基座模型预训练已经做完了，我有基本的checkpoint，现在我开始要适应不同的任务，需要过后训练的时候，大家开始用强化学习。这个地方已经开始开枝散叶，因为AI进入人的生活的各个方面，有不同的场景需求，这个时候你开始需要的不是一个模型解决所有问题，你可以有多次训练产生多个模型，解决各种各样的问题，并且多个企业可能都想有自己的模型。
所以后训练的强化学习在这个地方是一个fan-out（散开）的状态，比较适合做我们想要的这种给所有人分享技术、做一套infra让所有人都使用的模式。这样后训练完之后的模型推理，就更加fan-out（散开）了。
推理就是真的到了末端，模型都已经完成了。模型的架构和weights（权重）都已经有了，我需要让你的模型在硬件上跑起来，跑起来之后你有一个end point（接口）可以被cover（包含到），别人可以使用这个模型。推理就是在那个更末端、贴近用户的部分。
陈茜：你之前发的整个Infra LLM Serving版图，其实中间涵盖蛮多领域的。比如说vLLM是解决内存管理，H2O是做KV cache（键值缓存）的压缩，S-LoRA是解决多适配器的并发，Chatbot Arena做测评，SGLang做结构化生成，非常多不同的方向。对这部分的研究，你是有一个什么样的方法论？还是说你有一个很完整的路线图，说这些东西都是我要一起去解决的？还是这些东西是你一步一步去慢慢解决的？
盛颖：我觉得是一次性看见的，短时间内一下看见了很多问题，但你做的时候得一件一件做。想法肯定是跑得比手要快，而且也不是我一个人看见，很多人都看见了。你上来一下看见很多问题，然后大家慢慢地把每件事情都解决掉。
陈茜：那在解决这些问题的时候，你觉得有哪个点是最难的？
盛颖：我觉得没有哪个点是难的。
陈茜：就是去做掉就可以了。那你的优先级是怎么排序的？
盛颖：哪一个能给你带来最大的margin（边际收益）？哪一个是最大的瓶颈？先解决最大的瓶颈。然后也有些是有依赖关系的，比方说你要先解决内存的、KV cache的碎片化问题和管理问题，然后你才能解决prefix cache（前缀缓存）的问题。
陈茜：所以你觉得现在这些问题完全被解决了吗？还是还有继续优化的潜力？
盛颖：那肯定总是有优化的潜力。Attention（注意力机制）现在有这么多的变种，sparse attention（稀疏注意力）还可以做得更激进，然后还有新的创新，是不会停止的。
陈茜：这一块其实应该是一个很大的市场，但这个市场为什么最开始是从开源的生态里面跑出来的呢？
盛颖：也不能说是开源跑出来的，因为推理已经存在很长时间了。Inference provider（推理服务提供商），Fireworks、Together这些公司已经存在好几年了，这些公司都很不错，有很大的使用量。而且你看推理的领域有这么多的竞争者，这么多跟推理有关的公司层出不穷，每年都在不停地出。但是你会发现，这个游戏里面没有输家。这么多inference provider player （推理服务提供商）不停地出来，但是没有任何一个因为竞争的存在而消减下去，所有人都是同步增长的。
陈茜：这个挺有意思的。我之前跟你的联合创始人邦华聊的时候，他说做infra的人需要的taste（品味），跟做预训练的研究者的taste是不一样的。那做infra的人，他的taste是表现在什么样的方面呢？
盛颖：我其实不确定是不是真的不一样，我觉得本质可能是相通的。不论是在做训练算法、预训练算法，还是在做infra，都是看你在做一件事情的时候，是不是喜欢精益求精。
陈茜：它是一个很细节的活？因为AI infra的效率要做得非常极致，对吗？
盛颖：不光是效率。如果你追求的是一个目标的话，可能就不在taste（品味）这个维度上。Taste其实就是你关注的不仅仅是最终目标，并且还有这个最终目标的组成。就是我的系统不仅能跑，我并且知道它是怎么跑起来的，它是以一个设计良好的形态跑起来的，还是一个豆腐渣工程跑起来的，它们有可能有同样的最终目标。有taste就是说，我更在乎它是一个很优美的形式跑起来的，而不是很hacky（粗糙）的方式跑起来的。
陈茜：那你在乎吗？
盛颖：我非常在乎，这是RadixArk的文化之一，我们非常强调这一点。这就是为什么我们想要成立RadixArk，想要好好地做一家infra-first（基础设施优先）的公司。
因为我觉得在我之前工作过的其他地方，或者是听大家讨论所听到的这些描述里，以产品、以模型为目标的这些公司，在infra的美感上都有所妥协。他们在infra的功能上还是很追求的，但是在美感上是有所妥协的。然后infra的人在整个全栈里面，可能长期处于一个被低估的状态。他们需要被迫去不停地支持其他的组件，需要去支持研究者很好地使用infra工具、把实验跑起来去迭代，也需要支持产品端的人能够把自己的产品运行得又稳又快。
但以我跟infra之间这个浪漫的关系，我觉得infra它不是一个支持性的角色，infra本身在我眼中就是产品。你在推一个产品的时候，因为产品面向用户，你会去想我这个产品不是只有功能，我会想让这个产品美，我希望它好看好用、被人所喜欢，我希望它击中用户心里的痛点，击中人性。
我希望产品击中人性，但是没有人会说我希望infra击中人性。但是从我的视角里看，我觉得infra也是击中人性的。它只是没有直接到用户，没有那么直接的联系而已，但实际上它产生的深远影响，是从底层就开始往上传递的。
陈茜：我觉得刚才你说的两个词非常有意思，我很少听到。第一，你是说infra的美。第二，你是说你跟infra的关系是浪漫的。
盛颖：我倒是没有仔细想过为什么是这个词，但是它自然而然存在于我的脑中。但是我不是特例，我只是其中之一，我觉得写infra的人他们都是能理解的。其实有一批这样的人，他们都很在乎你构建infra的时候，这个系统优不优美、稳不稳定。然后他们总是被迫去做一些hacky（粗糙的）事情来达成目标，其实他们都是在一个被拉扯的状态里。
陈茜：我明白你的意思。比如说其实如果看一些大厂，OpenAI有自己的infra团队，之前你在的xAI有自己的infra团队。是不是在这种大厂的时候，infra团队总是一个支持者的角色，也就是说它有很多需要去妥协的地方？但是如果你自己出来做一个infra-native（原生基础设施）公司，就可以达到你所说的infra-first（基础设施优先）的这种美感？
盛颖：对，比如说在RadixArk，其实我们是反过来的。比方说我们也有training job（训练任务），但我们并不是说我需要一个infra团队去一直支持这个训练任务非常按计划执行。我们是反过来的，我们希望这个训练任务可以没有压力，它只需要跑。一旦训练任务被卡住了、遇到问题的时候，我们希望大家的关注点是把这个问题系统化地解决。任务是可以停的，而不是打一个补丁上去让这个训练任务必须跑。
我们也不着急刷分，也不是非要刷一个非常好的benchmark（基准测试）分数，这个在我们这里不是第一优先级。当然我们如果能刷高当然是好的，我们不会说这事情不重要，但是在时间线上，它不是source of urgency（紧迫感的来源）。我们紧迫感的来源是，当你的任务不能被迭代的时候，这个问题本身应该怎么样从深层次去解决它。
陈茜：那我们再聊一下infra这个赛道。比如说在技术的细节上面，RadixAttention是SGLang的一个核心技术，它是用Radix Tree（基数树）来做前缀的缓存，然后避免重复计算KV cache（键值缓存），能不能用比较通俗的语言解释一下这个技术？
盛颖：这个技术其实也比较简单。当你有很多的请求发到引擎这边需要处理的时候，如果你的请求有一个公共前缀，那我们就不需要重新计算这个公共前缀所对应的KV cache（键值缓存），而是可以复用。第一个请求进来，我已经计算过KV cache，第二个请求进来，如果它们是共享的，我就可以复用已经计算出来的KV cache。
所以这套内存管理系统，就是对前缀的共享结构做了indexing（索引）和存储。首先，你要对进来的请求之间的前缀关系建立前缀树来做indexing，做完indexing之后，你需要把已经计算的KV cache存在KV memory pool（KV内存池）里面，然后把这个索引跟这个KV内存池mapping（映射）起来。
陈茜：挺好的。既然它的核心是用重复的前缀，但如果我们假设用户每次发的问题都是全新的，没有什么共同的前缀，比如说长文档摘要或者创意写作，是不是这套机制就有一定的局限性？
盛颖：因为复杂场景的出现，大部分都是会有前缀共享的。因为你只要进入多轮对话，后面的对话都要复用前面已经对话的历史，所以前缀复用是大量存在在几乎所有场景里的。
陈茜：是不是说agent（智能体）来了之后，这个问题更需要被解决，或者更需要被优化？
盛颖：它一直都是需要被解决的，agent（智能体）来了之后，它确实可能变得更被大家所关注到了。其实SGLang在论文刚出来的时候，如果现在回去看那个两三年前的论文，我们确实是以agent（智能体）为入口进来的，说我们为什么要新设计SGLang这套体系，当时还设计了一个前端语言，都是为了智能体的用例所设计的。
因为我们觉得，大语言模型变得非常强大之后，你需要构建一套人与AI之间交互的interface（界面/接口）。SGLang创作之初的动机，其实是想要去定义和构建这套interface，让人和AI可以更好地交互。但发展到今天，可能后端推理的挑战更为突出，所以大量的开发精力移到了后端运行时的优化。但我觉得有一天，在某个时刻，我们还是应该回顾一下最初的想法，就是为什么要设计SGLang。SGLang在结构上原本就是一个语言，它原初设计的时候就是希望它是一个语言。我觉得有一天我们会重新审视这个部分，最终它还是应该是一个语言的形式，这个语言是人与AI之间交互的interface。
陈茜：我在看你们社交媒体的时候，你们经常说这个模型发了之后，我们是从Day-0开始兼容的。能不能跟我们解释一下，为什么这件事情很重要？
盛颖：这件事情很重要，是市场觉得它很重要。我们做事情还是很务实的，我们做开源，哪些事情重要和不重要，还是被市场所决定的，不是完全我们自己定义的。我觉得市场上，人性好像大家就是很希望东西刚出来的时候我就能用上。
这个愿望从用户端一直传递到了我刚提到的那些inference provider（推理服务提供商），inference provider进而又传递到了我们，也进而再传递到了模型厂商。所以这个链条式的传递，它其实满足的就是一个人的心态，就跟你发布了产品我第一天就去抢购一样的心态。
陈茜：比如说前段时间
盛颖：这个跟模型的复杂度很相关。
很多的算子层、一些实现都要重写，有一大部分的代码基本上是重写的。因为
陈茜：是不是每一代新的模型出来，其实都需要有一个重新适配的过程？只是说如果它的模型架构变化非常大，可能你这边的工作量就会更大一些。但如果它就是一个非常小的调整或者是一个升级的话，你这边其实就没有必要去做非常大的适配。
盛颖：对。如果它的架构完全不变的话，其实甚至都不用适配，如果它只是更新weights（权重）的话，那甚至几乎不用适配。
陈茜：我们看到最近有一些研究都是探索模型直接在latent space（潜空间）里面推理，而不是逐字地去生成token，比如说我们看到之前Meta的Coconut，还有字节的Cola DLM等等。如果这个方向成熟，你觉得推理引擎的很多优化假设是不是可能会发生一些变化或者重写呢？
盛颖：如果这个成熟的话，那确实很多事情是会变的，因为它推理的过程形态不一样了。但是我觉得这本来就是你写推理引擎的一环，世界在变，结构在变，然后你的事情要一直在变，这是一个本来就持续存在的过程，我觉得这不是真正的变革本身。
陈茜：那你觉得不同的团队，或者是不同的AI infra的参与者，他们适应变化的能力重要吗？
盛颖：重要，我觉得团队更重要。再提一句，尤其是现在有AI了，AI写代码写得这么快，实际上变一点，就技术上来说，不是真正产生巨大变革的地方，技术上总是能做的。我觉得真正的难点，从来都还是回归到人和团队本身。
陈茜：那为什么你们的人、你们的团队就更好呢？
盛颖：我觉得我们的人和团队团结，然后谦逊，又聪明，又努力。
陈茜：那可能其他团队也会这么跟我说。
盛颖：我觉得其他团队也挺好的呀，我觉得大家都挺好。但是每个群体最终都会形成一个自己的文化，大家各有所长。
陈茜：那你强调的公司内部的企业文化是什么样子的？
盛颖：我希望大家是focus and humble（专注且谦逊），精益求精，我们追求极高的审美。我们追求把事情做扎实。我们希望RadixArk的人，都是对自己、对自己的作品特别挑剔的人。
陈茜：今年年初的时候，我们看到vLLM的核心团队也商业化了，成立了Inferact公司，也是融资了1.5亿美元，估值8亿美元。你觉得这个产业之后会有更多的竞争对手吗？更多的公司会商业化来做这个事情吗？
盛颖：我觉得完全有可能，而且其实它就是持续不断在发生的。Inferact和RadixArk这两家之后，还有新的推理公司在不断地涌现。
陈茜：那大家谁会变成赢家呢？核心的竞争点、团队的竞争点会在什么样的方向呢？
盛颖：我其实不觉得我们在这个赛道。虽然我们有SGLang，SGLang是inference engine（推理引擎），但我觉得RadixArk的长远使命其实是不属于这个赛道的。
按照前面的说法，RadixArk的目的是我们想把最好的AI带给大家，这是我们非常朦胧的一个目标。但是RadixArk接下来一年要做的事情、三年要做的事情、五年和十年要做的事情，讲出来都会非常不一样。我们最终想要的，我不想透露，但是我可以大概地说，我认为RadixArk最终的使命是要做Next Generation AI（下一代AI）。Inference（推理）或者是infra（基础设施）只是一个起点，是一个前提条件，我们的本质还是不是单纯的infra implementation（基础设施实施）。但我们要做的也不是模型，我们将来想做的事情，不是一个现在世界上已经存在的东西。所以我其实不觉得我们跟现有的这些inference player（推理公司），是一个类别里面的。
陈茜：就是它还不存在，但是你觉得它一定会发生，然后你想把它造出来。
盛颖：我觉得它会发生，或者说我希望它发生，我想看到它发生。具体是什么我现在不能说，但我可以说，推理是一个起点，它不是RadixArk的长远核心，所以我们其实跟其他的推理公司都是保持良好的关系。我们的引擎是全开源的，SGLang也不是RadixArk的所有物了，SGLang是在LMSYS下面，它是属于社区的。但是我们公司在SGLang的所有贡献都是开源的，我们没有private fork（私有派生仓库）。我们的愿望也很简单，只是希望这些东西被所有人使用，并没有想要通过这个地方制造一个差异然后去获取利益，所以公司的命脉其实不在这里。
陈茜：我们看到其实有不少做推理引擎的创业公司，虽然有些公司自己不做引擎，但也是在这个引擎上面去做服务的，而且现在体量也不小了。比如说Baseten最近完成了3亿美元的融资，估值50亿美元。Fireworks AI现在估值有40亿美元，Together AI现在也在寻求10亿美元的新融资。同时我们看到AWS、Google这些大的云厂商也在提供托管推理服务。整个AI Infra的生态链，最近在发生什么样的事情？能不能给我们梳理一下？
盛颖：我觉得推理这件事情其实很早就存在，也发展了很久。但是今年AI可能在变得更加成熟，尤其是Anthropic这个爆点大家都看到了。AI变得更有用之后，整个市场的投入可能会有更多的从training（训练）转向inference（推理），就是开始需要让它盈利和兑现的时候。然后这个转化就会使得推理市场本来就已经很爆发，现在更大地爆发，所以你会看到很多雨后春笋般冒出来的各种各样的推理公司。
但同时，这些所谓的AI native（AI原生）公司，他们也开始感受到了继续使用现有模型去做prompt engineering（提示词工程）的局限性。与此同时，也有更多的公司开始需要利用好自己的数据去做定制化，这个需求从另一方面也在推动RL（强化学习）这一块的市场化。所以一方面你看到有很多新的推理公司出来，另一方面你会看到已经建立起来的推理公司在往RL那边扩张。我觉得这可能是这一批公司里面最大的、最明显的两个趋势。
陈茜：Baseten还有Fireworks，他们现在也是你们的用户，你觉得以后会发展成竞争对手吗？
盛颖：我不知道，他们有可能觉得我们是某种意义上的竞争对手，但是我们不把他们当成竞争对手，我们是更想和谐相处的。因为第一是，我们的重心并不在这个地方，不然我们就不会把我们的推理引擎给大家随意使用，并且我还去支持他们使用。
第二点是，因为我们这个开源的意愿，我们希望被大家都使用，所以我们也不想跟他们成为竞争对手。我们希望这些都是我们的盟友，我们更希望的是聚焦在AI本身的一些技术迭代上。我们希望把这些技术跟他们共同发展，被他们使用也好，反而促成他们业务模式的增长和扩张。
陈茜：能不能跟我们说一下，现在你们服务的客户大概是什么样类型的企业？或者是他们有没有一个比较典型的使用场景可以分享？
盛颖：我们各个类型的客户都有。从data center（数据中心）、Neocloud（新云）、Hyperscaler（超大规模云服务商），这些是cloud provide（云服务提供商），他们有GPU，我们想跟他们一起或者帮他们销售GPU。到这些inference provider（推理服务提供商），我们其实也想跟他们合作，也希望他们成为我们的客户，但现在还是一个用户的关系。然后再往上到AI公司，他们想要使用AI Infra去训练自己的模型，或者是serve（服务/部署）模型也好，他们也是我们的客户。还有一些传统的大公司，他们不是完全的AI公司，但是想要用AI来助力原来的业务，我们也希望在这里可以提供一些价值。
陈茜：SGLang之后，你们还开发了Miles，这个主要是用在RL（强化学习）上面的。你们为什么同时要做推理跟强化学习训练？
盛颖：因为我们做的是整个AI Infra。推理和强化学习，是最靠近用户的两个末端的步骤，所以我们从末端步骤开始布局。但是我们要做的，是整个能够把AI制造出来的能力。
陈茜：这两个东西同时做难度大吗？
盛颖：还好，因为它俩其实非常相关。RL（强化学习）里面很大一部分的挑战是来自于reward engine（奖励引擎），而reward engine就是inference engine（推理引擎）。如果做RL的话，你更多的是要做一些调配上的工作和weights transfer（权重转移）之类的胶水性工作，scheduling（调度）算法也有一些新的东西，但是系统层面它们有非常非常大的重叠。
陈茜：你刚刚跟我讲了两个很好的教授，是非常教科书级别的教授。那有没有哪个管理者，是你觉得你遇到过的最好的管理者？他们的特质是什么样子的？
盛颖：其实“管理”这个词也很宽泛，不同位置的管理者，他们的功能也是不一样的。管理与被管理，其实也是一个职能分工的关系。
打个比方说，一件大事要做成，它背后一定要有一个人非常非常地跟这件事情绑定，他是不遗余力地要推动事情发生。这个人不管是创始人也好，是CEO也好，可以是任何一个人，但一定是有这么一个人的，他以某种形式跟这件事情被绑定了。这个人需要有很清晰的想法，知道我们从哪里来、我们要去哪里，我为什么要做这件事情，团队为什么要做这件事情。他需要有这个坚持，并且他要能够看见未来，看见一个他想推动的未来。也许没有他就不会发生，但一定是一个他能看见的未来。
有远见是最重要的，但是有远见的这个人，并不一定需要具备管理者需要的所有特质。与此同时，公司里面还需要其他的管理者，他们又需要执行不同的职能，比方说能够真的把一个远见变成真实、变得可执行，能够把人与人之间的合作关系调度得很好，这可能都是不同人的功能。
陈茜：管理者非常重要，它的架构制度非常重要。
盛颖：但我觉得我现在的想法都很初级，我其实现在确切地说就处在一个思考这个问题的阶段。我们刚好就在一个从我还能一个人看清所有事情、到我现在看不清的这个阶段，所以我最近就是在想这个问题，我还没有找到答案，我现在看到的都是挑战。
陈茜：那现在这个挑战跟你当时刚加入xAI的时候面临的挑战是相似的吗？
盛颖：不一样。
陈茜：因为你也说xAI你是把它看成你的孩子，看成一个很重要的事情。那你在孵化它的时候，因为你加入xAI的时候它应该还没有推理团队，你其实是把它建立起来的。作为这样一个很重要的核心的人，你觉得回顾当时你面对的局面跟挑战，跟现在有什么不一样吗？
盛颖：还是完全不一样的。因为毕竟在xAI，我不是xAI的所有者。就算我想，虽然我把它当成我的孩子，但其实其他人并不觉得它是我的孩子，所以我其实并没有被赋能，并没有被赋权。我有想法，我有观察，但是我很多事情是改变不了的，我没有办法去做很多决定，或者去影响他人的决定，所以我的责任其实也没有办法扩展到那么大的边界上。
但是我在xAI确实学到了一句话。xAI的两个联合创始人，当时Tony Wu和Guodong Zhang分别跟我说过，我不知道他们是不是串通过，他们都跟我说同一句话，就是你的authority（权力） 和 responsibility（责任） 要匹配。
我在xAI是没有authority（权力）的，我只是一个小团队的负责人而已。我其实没有权力做很多事情，所以我就没有责任。我不能决定事情，我就负不了责。这个事情如果我不能决定该怎么做，做错的话我也担不了责，做对了也不是我能控制的事情。但是现在这个公司，我要做决定，我必须要做决定，它变成了我的义务。那它做得好和坏，所有的责任全部在我头上，如果事情没有做好，我就要背锅。当然做好了你会开心，做好了其实是团队的功劳，做坏了是我的责任。这就是跟之前完全不一样的角色，所以挑战也是完全不一样的。
Sand Hil Road的套路与规则
陈茜：从研究员到大厂，再到自己出来创业，你对自己的定位有什么样的转变，或者心态上有什么变化吗？
盛颖：我其实没想过这个问题。我一直都只想我想做什么事情，然后我去做这件事情。能够借用的身份也好、资源也好，在当时看来什么是最好的选择，我就会去做什么选择，但它们都只有一个目的，就是我要做我想做的那件事情。也许两年前，我可能觉得我想要创造那个未来，教授是一条路。两年后的今天，我觉得教授这条路走不通，我就开始开公司创业。不管我是做教授还是开公司，它都只是approach（途径），我没有想过这个身份本身意味着什么，我不是很在乎那个身份。
陈茜：但是因为你选择的路不一样，你要做一些其他的事情来辅佐你最终想做的事情。比如说你现在是一个非常明星的创业公司的创始人，你要去融资，你要去招人，你可能要去做一些以前你没有想过要去做的事情。所以比如说融资、跟投资人聊这件事情，对你来说是负担吗？
盛颖：融资这个事情我以前确实不懂，是被迫去做的。但这些事情总是要做，first principle thinking（第一性原理思考），如果要做我的目标，这件事情该做，那我就去做它。
我们当时融资还是挺曲折的，具体我就不讲了，但是挺曲折的。不过我现在觉得，我经历了这么长时间之后，对这个行业有了更多的理解。跟他们打完交道之后，我现在觉得我对投资人有更多的尊重，我更理解他们的一些想法，以及为什么整个这个行业是一个这样的状态。
陈茜：当然，Sand Hill（硅谷沙丘路，指风投聚集地）有一套它的游戏规则，这套游戏规则我理解其实跟之前做研究的时候是完全不一样的。你觉得你自己在适应这一套新的游戏规则吗？
盛颖：我觉得没有真的不一样。表层的东西肯定是不一样的，但是不同的体系，追根到底还是人、还是人性，本质逻辑没有不一样。
陈茜：就是你把东西做好，你追求的一个真的东西，你把它做出来、说出来，是吗？
盛颖：我觉得它体系不一样。学术界的体系跟投资人体系肯定是不一样的，所以你的规则不一样，mechanism（机制）不一样，做事的方式肯定不一样。但是归根结底，所有事情再往下说都是人，人与人之间是共通的。所以当你进入一个新的体系的时候，其实只是要学习那个体系是怎么回事、怎么运转，各种利益点是怎么样的一个平衡关系。然后你如果还是以同样的人性作为推理基点的话，你对这整个体系的理解还是可以被推理出来的。
陈茜：这个点有意思，就像发论文一样，它是有套路的，你学到了这个套路，其实你也很快发论文。
盛颖：所有average（普通）的东西都是有套路的，所有common （常见）的事情都是有套路的。
陈茜：你们最后的这个投资人，应该说结果非常非常好了。英伟达、AMD、英特尔这几个最大的半导体公司都罕见地集体投了你们，除此之外你们也拿到了非常硬核的很多投资人的背书。你觉得他们为什么投你们？他们看中了你们的什么？
盛颖：我也很想问投资人这个问题。我很难为他们代言他们看中了我们什么，但如果现在让我推销一下的话，我觉得我们是在这个赛道里面一个跑出速度的玩家，我们跑出的速度让大家可以看见我们的未来。我们也觉得我们有机会创造一块新的市场，也有机会去助力现有的市场。我们可以赋能更多其他的AI公司，或者是想要进入AI的公司，赋能他们制造AI的能力，可以让他们更接近AI，利用AI创造更多的价值。那么我们如果能提供这部分价值的话，这就是我们值得被投资的原因。
陈茜：他们还是看重这件事情，觉得这个事情是关键的。
盛颖：我觉得肯定很多人是看重事情的。当然早期投资也有一些是看人的，我其实更喜欢看人的早期投资。
陈茜：但可能接下来A轮、B轮、C轮之后的投资人就会看数字跟业绩了。
盛颖：但是我们第一轮因为有SGLang这个开源的基础在，他们肯定是人和事一起看的。至于他们为什么看中了，我就不替他们回答了。
“养大我” 的开源生态
陈茜：你为什么对开源这么执着啊？
盛颖：我其实想纠正一下，我觉得我不是对开源执着，我其实没有刻意要在乎和执着它，它是自然发生的。当然我从这里获得的价值观确实跟我以前的经历有关。我出生在江西这样一个中部的省，也不是很发达的一个省。我小时候在江西省已经受到了很好的教育，但是你放眼全国甚至国际去比的话，那我当时受到的还是很朴素的一段教育经历。
当时我想要学编程，其实没有太多的资源可以学，所以我大部分的学习都是从互联网上拿到的。计算机那个时候也不是最火的专业，计算机竞赛更不是大家追捧的竞赛，所以你能够在市面上搜集到的教材或者各种资源都非常稀少，而且非常raw，都是未经加工的。
所以当时我的学习全都是来自于，我去互联网上看到的那些非常随机的、别人留下的帖子、博客，CSDN，然后各种当时Online Judge（在线评测系统）的网上题库。我从那些地方学到的东西，都来源于一群我不知道是谁的人，我至今也不知道他们是谁，当时我也不知道他们是谁。我只是过去非常自私地把代码拿走了，回家研究，我都不知道写这个代码、把它生出来的人是谁。我觉得我是被这样一群人、被互联网上不知道在世界哪里的人给raise（养）起来的，是被他们教会的。
所以分享、开放的这个文化，它对我来说就像我生活的空气一样存在。我也没有觉得我在刻意追逐它，但它对我来说就是一个从我很小很小开始就一直在我身边的东西，像空气一样，我觉得它理所应当。“你有一个想法、你做了一件事情，你不分享出来，那才觉得奇怪。”我其实是这样一个状态。
陈茜：你觉得开源社区在最近几年有发生什么变化吗？
盛颖：我觉得有变化，一个好的变化，一个不那么好的变化。好的变化是，我觉得开源越来越多了，大家越来越追求开源、越来越愿意开源，也越来越相信开源的价值。不管是大家的思维模式，也就是人对开源的欣赏，还是资本对开源的认可，都是上升状态的。
但有那么一点不好的变化是，它在这个追捧上升中也开始掺杂一些其实不是那么纯粹的东西在里面。这样的话，一个是会破坏原来我们所想象的、开源带来的那个美好的事情本身。另一方面是，如果开始有这样的东西存在了，会让原来相信这件事情的人变得不那么相信。
开源里面混进了一些功利主义者，这些功利主义者的存在，使得那些本来不是功利主义的人分不清楚开源里面的成分哪些是纯粹的、哪些是不纯粹的。所以他们影响的不仅仅是他们自己。这是我可能觉得开源在变好的过程中，也同时会开始出现的一些烦人的地方。但东西总是阴阳共存的，它是一种平衡。
陈茜：大家最近对开闭源之争也聊得蛮多的。最好的大模型，OpenAI、DeepMind、Google都是闭源的，Meta之前是开源的，后来也不行了，也不知道它接下来是闭源还是开源。你觉得整个AI的走向会慢慢地往闭源那边去迁移吗？
盛颖：我觉得还是共存状态。我觉得开源不会停，而且根据我的了解它也没有停，有更多的人一直想要进来贡献自己的力量，这个事情不会停。但我也不觉得所有东西都应该开源，因为你不能没有规则，你也不能没有界限。完全开放开源这个状态，如果没有掺杂太多可套利的空间的话，它可以是美好的。但你一旦把它完全打开的话，人性的恶也会被放大。
所以我觉得两种论点都是正确的。我确实也不觉得AI应该完全地展现在所有人面前，它确实有风险，我不否认这一点，当然我也不站在AI应该完全被握在一小批人手上那一侧。我觉得AI应该均等地被握在不同的人的手中，我们想做的就是这件事情。
RadixArk其实不是纯粹为开源服务的，我们是有开源文化在，但并不意味着我们做的所有事情都是开源和为开源服务的，我们也为闭源模型服务。但是我们说的democratization（民主化）是，我们认为开源闭源是共存的，但是我们希望闭源存在，却不centralize（中心化）。
陈茜：理解，但这个怎么实现呢？
盛颖：所以我们希望提供能创造最好的闭源模型的tool chain（工具链），让所有人都拥有制造属于你自己的AI的能力，但是你制造出来的AI属于你自己。
陈茜：Anthropic最近呼吁大家都停止AI的研究，但是它又加了一个附加条件，就是“我现在要确保大家都停止了，我才停止。”你现在能接受这些最强大的模型都被握在这么几个闭源模型玩家手中这件事情吗？这件事情能被打破吗？
盛颖：我觉得这件事情很难发生，它是违背人性的。
陈茜：你是说所有人停下来AI研究这种事情是违背人性的？
盛颖：因为在你这样一个体系里面，大家没有拿到同样的资源，所有人都想要接收到最好的AI，所以这个事情很难发生。其实我不觉得它不正确。如果说现在有一个非常强力的上帝下来安排每一个人做什么，那事情是可以发生的，我不认为那是一个非常差的世界结局。大家都停了，Anthropic领先，我不觉得这是个极度差的世界结局。但是世界不可能停在那个地方，因为没有这样一个上帝下来把所有人安排得按部就班，一定会有人要在里面起义，所以我觉得它不可能发生。
陈茜：那这个事情会往哪里走呢？终局可能不知道是不是会非常美好，就像你说的一个非常去中心化、每个人都能有自己的AI的终局。但是你觉得接下来会是什么？
盛颖：这看我往多远的未来去想。如果讲到很远的未来，我觉得现有的AI还没有强到会真的完全控制和威胁掉人类，所以在目前我能够保证看到的未来里面，人类还是安全的。如果是这样一个前提下的话，大家还是会互相追逐。
AI会变得越来越强，但它这个强是在生产力上去取代人类的一些功能性的强，它不能完全地取代人，它只是取代了人类的一些功能。这个变革肯定也是巨大的动荡，它会对人类的社会结构、权力结构产生巨大的动荡，跟过往发生过的每次工业革命一样，是一些席卷性的动荡。这个可能比以往的工业革命更加工业革命，但它是一个你可以理解的范畴。
但是更远的未来，如果说AI真的可以强到已经开始操控人类，真的已经over（超越）人类、dominate（统治）人类了，它能够做人类做的任何事情，如果那天真的能来的话，我觉得我们是阻止不了的。或者说，你想阻止它的方式，不是通过呼吁所有的人类停止来阻止，这个事情是不太可能发生的。你阻止它的方式一定是发现另一条路径，使得你允许AI继续前进，而人类还不会输。
陈茜：你在这中间想做什么事情吗？
盛颖：我想做的，我想要构建的那个未来，就是一个跟强力AI共存的未来。就是我们现在说我们要把最好的AI带给所有人，人类需要这个公平。你不太可能通过一小部分人把好的AI握在手里、其他的人都无能，来维护你表面上的和平，这是不可能的。
如果说AI一定要往前走的话，那所有人都往前走。不一定是所有人，不是字面意义上的所有人，但我说大家都不是被这样bond（关联共处）的，而是如果你有这个潜力，你知道往前走的时候你能够接触到最好的人类知识，你需要在这样的竞争环境中往前走，它是一个健康的与AI共存和大战的状态。你先要有这样一个假设，然后整个人类才能团结在一起去寻找这个解决方案。所以这件事情是必然的。如果真的到了有一天，人类需要寻找一个新的解决方案，那这都是个前提，你先要让所有的人类平等共处、团结一致，然后你才能再寻找一个人类与AI共存的世界。
LMSYS：平等、平权以及“她赢了，不需要被解释”
陈茜：你可以再说一下LMSYS那段经历吗？
盛颖：LMSYS是我跟Lianmin最早一开始想成立的一个机构，这个机构可以让不同学校的人参与研究。LMSYS到今天虽然是一个非营利组织，我们大家都在里面兼职地帮一些事情，但是LMSYS其实是一个我们想要非常严肃做的事情。我希望RadixArk能永远走下去，但如果有一天它不是走到底的话，LMSYS是那个我终生会做的事业。
它跟RadixArk有些共同性，它们都有个共同的价值观，就是关于平等和关于平权。LMSYS的平权是来自于，我们希望能够孵化优秀的人才做的项目，即便他们没有充分的背景、没有充分的后台、没有充分的品牌。
这来源于我自己的一些个人经历。我经历过很低谷的时期，也经历过很高昂的时期，我自己能感知到这里面的不同。可能同样是我，同样做了一件事情，我在高昂的时期做的那件事情非常容易被大家关注到、被大家记住，甚至被大家夸大。但是我在低谷时期做的事情，有些也不错，但其实你就很难被大家所看见，或者被大家认可。但我觉得这个不同是没有必要存在的，而且它是破坏社会公平竞争结构的。
所以LMSYS希望做的是抹平这个差异，希望好的项目真的能够被托举出来，并且我们希望功劳能够分到做事情的人身上，让可能还没有积累、没有建立声望的人对项目有更强的掌控权，保护未建立声望的真实的开发者对项目的掌控权。
陈茜：我看你在开源社区的时候，还做了蛮多其他的项目，比如说LM Arena，这个东西其实在行业里面影响也是挺大的。那段时间你其实主要还是一个主线，只是说不同的项目在不同的方向上推进？
盛颖：Arena是当时我们做LMSYS那段时间的其中一个有趣的项目。当时觉得这个事情挺有意思的，做了一下，它意外地得到了挺多的关注。可能大家当时就觉得排行榜这个事情本身具有一定的娱乐性。但是我觉得这个Arena确实是我们开始做的，但你真的说把它壮大、做成公司，那还是我们后来把这个项目交给了Wei-Lin Chiang他们，后面有些新的人也加进来，是后面这个新的团队把它真的做成了商业级别规模的一个项目。
陈茜：刚才你说每个人要公平、要平权，你对这个事情的看法是？
盛颖：平权更多的是说相同的机会。
陈茜：特别是对于科技方面，程序员也好，或者是研究员也好，你对“相同的机会”这件事情的在乎是因为什么样的契机，或者是什么样的经历？可以跟我们分享一下吗？
盛颖：一部分是我觉得我好像天生就是这样的，我生下来就是在乎这个事情。另一部分可能也是一种延伸，我觉得我从小到大经历和看见了很多性别歧视。虽然大家回避这个话题，这个话题也有一定的可争议性，就是你怎么鉴定是或者不是，但我觉得我还是很明显地说，这个事情它存在，你无法回避它存在，而且我非常切身地经历过无数这样的例子。
每一个例子你单拎出来，它都非常小，但它是那种在你生命中无时无刻、每天都在发生的平凡的小事。所以它其实对那些被影响到的人造成的影响，不是你听到一个例子时候所感受到的冲击，而是把那一件小事的冲击乘上一亿倍，那才是对那个人人生的真实的冲击。然后你再把它扩大到整个群体，它所造成的这个互动性影响，就是常识的影响、刻在所有人共同认知里面的影响，是没有办法用一个例子去说清楚的。我觉得这就是我为什么特别在乎平权、公平平等这些东西的一个性格特质的原因。
第三个就是我刚说的，我自己经历过，我能感受到。包括我自己发的那些论文，有些论文其实我觉得也就一般，但那个论文可能就是因为是我发的，或者是斯坦福发的、伯克利发的，大家就会觉得它是一个标准，但其实同期可能有一些跟我做的论文差不多的论文。我其实只是一个研究员，我不是那个科学家，但是因为这样一个身份让我这篇论文被定义了。我觉得这个事情它本不应该这样子。虽然我是获益者，但当我是获益者的时候，我觉得我现在终于有力量可以把这个事情往外推动一点。
陈茜：那比如说LMSYS想要以什么样的形式去把这个权利很公平地分给每个人呢？
盛颖：很难。首先我们都知道这是一个结构性问题，它不是我能做的，或者是一个机构能做的。
我记得有一次我跟Ion Stoica聊天，我忘记具体聊了什么内容，但是我跟他说，我说我想改变一些东西。他说你改变不了，或者是他问我说，你觉得你能改变吗？改变得了吗？我就说，我不能改变，我确实没办法改变，但是如果我能改变1%的话，我愿意用我的一生去改变这1%。
一样的答案，我觉得我改变不了，这个挑战对于我来说，在这个挑战面前我太渺小了。但是我觉得我能改变一
但是这里面有一个很微妙的地方，就是当我们想要改变一件事情、推广一个价值观，或者你想改变身边的人的时候，这个传递是非常容易出错和被人利用的。其实真正最后你能够传递的，是你要挑选的人非常重要。有很多人他就不在这个体系里面，所以不是所有人都可以被教育的。
打个比方说，我现在想帮助弱势群体，但不是说我真的去帮助弱势群体，这事情就能被解决，解决不了。你要解决的是，你要找到那些跟你一样想去帮助弱势群体的人的人，你只能去找到那个能把这个东西散布出去的人，而不是直接去做到。比方说，哪怕你培养更多的学生成为老师都是不够的，你要培养的是想要去把学生培养成老师的老师，你需要把那个recursive（递归）的链条建起来才有用。
然后这个事情它会非常非常慢，所以我觉得我做不了多少事情。但是它的好处是，你如果能做到一点，它就做到了，它不是个会回退的改变。
陈茜：它是一个gradual（渐进）的，就是你往前推了，它就是往前推了。
盛颖：对，它至少是一个solid improvement（扎实的改进）。我觉得所有的改进只要它是扎实的就可以，而所有的改进如果不扎实，看上去是个big jump（跃升），但它不扎实，那这个跃升就是没有意义的。我们平时推项目我也这么跟他们说，我说不用着急，我们不用到那个目标，但重要的是团队能不能训练出来一套系统化方法。我的每一小步的移动是不是扎实的，哪怕我就动了一
陈茜：在研究界也会有性别歧视吗？
盛颖：它也不能叫歧视，其实没有那么严重。
陈茜：叫性别不平等？
盛颖：它可能都没有到平不平等和歧视的地步，但是很多很微妙的意识层面的不对称是无处不在的。
我给你举个微妙的例子吧，微妙到你会觉得它不是个事。打比方说小时候，我是竞赛出身，竞赛打得很好。如果我是个男生，大家就会说我是天才，如果我是个女生，大家就会说她很努力、她很听话、很用功，或者说你运气好。
我小时候经历的是什么呢？有一年的竞赛，那年我的成绩各种大赛比赛都很好，都是顶尖最好的，至少是比我们学校里跟我同龄的人要好很多。但是我身边的人会找无数个理由来解释我为什么好，他们觉得你赢是不应当的。
陈茜：他们否认你是天才这件事情。
盛颖：他们不会否认，但是他们会觉得，如果换一个人，那个人赢是理所应当的。但如果是我赢了，他们会觉得你这个赢需要被解释。但正常情况下，一个人赢是不需要被解释的，我为什么要去解释她为什么赢呢？她厉害呀。
但是我的每一场赢都要被解释，背后都有个原因，叫做我为什么赢，而不是你为什么输。这个解释可能是，她的对手最近状态不好。然后下一场，她的对手状态还没回来。再下一场是，她题押中了，这个题她以前做过，但可能其实我并没有做过。你能感受到这个，也不是故意的恶意，但让人很窒息。
陈茜：这些微妙的存在也会出现在你之后做研究、读博士、做项目的时候。
盛颖：对，是源源不断的。
陈茜：也都会一直有这样的存在。就是说你赢了、你比人厉害，大家就会给你找理由说，为什么是她？
盛颖：对，他们会说，我要再去研究一下，这个人为什么可以？她为什么能发这么多论文？一旦有一个合作方是男性，或者是他是被公认的，别人就会觉得，这个想法会不会不是她的？这是很微妙的事情，你单独去看的时候它们都很小，但我说这是一件持续发生、每天发生、每分每秒在发生的小事，而且它会波及到每一个在这个群体里的人。
你根本没有办法跳出这个框架，因为一旦你跳出，别人就会觉得你小气、觉得你格局小。我年轻的时候对这种事情更愤慨一些，态度会更极端一些，但我后来觉得这个事情是不需要被讨论的。你要解决这一点只有一个方法，就是让所谓的弱势群体，或者说在这个具体的例子里，就是让女性真正拥有权力，除此之外没有别的办法。
陈茜：你就是不断去赢就好了。
盛颖：对，而且这个权力是所谓人类真的头部0.001%、0.01%、0.1%、1%里面全部平权。她们只有真正获得权力，这个事情才会被改变，其他所有的一切通过教育是达不到任何目标的。
陈茜：你觉得在过去10年有好一
盛颖：肯定有好一
“世间的美好是存在的”
陈茜：大部分的问题我应该都问到了，你觉得有什么问题是我们漏掉的吗？
盛颖：我没有想过有什么问题要问，但是结尾的时候，我倒是有一件事情想说。
昨天你们过来，你给我看那个文档的第一眼，我其实当时挺打动的。那个文档里面已经有很多对我的描述，挺详尽的。我觉得很多投我的投资人都没有这样去看过我的经历，在我跟他们聊天中，我发现他们不了解我的经历，不了解发生过什么，他们可能在别的侧面去打听了。但是这份文档我当时印象很深刻。
我觉得包括融资的这段经历给我的一些成长，就是很多职业本身我们觉得会做的事情，其实它们不是自然发生的。也许我原来觉得一个做采访的人，他就应该对被采访者先有一个深度的研究，但事实上很多的采访者并不一定真的会做这件事情。也许我们觉得投资人应该对创始人做个很深度的调查，但实际上大多数投资人都没有去做深度的调查。也许我们觉得一个博士应该好好做研究，但大多数博士未必真的好好在做研究。有很多事情它在定义里面该发生的，其实不会发生。我后来发现，一个人只要能把职业里面该做的事情做完，其实就已经非常稀有。
我不太喜欢采访，本来我们也差点就要推掉了这个采访。但是我昨天看那个文档的时候，我觉得我愿意好好做一下采访，因为我觉得你们做了这个劳动，我是尊重的，我就想说一句respect。
陈茜：谢谢，我也很respect你。
盛颖：然后我觉得，就刚刚聊到的，比方说我的博士前面有很多波折，融资的时候有很多波折，我们这个开源项目做起来也有很多波折。但你现在真的要我说结局怎么样的话，其实这三段波折，包括童年的很多波折，它们波折之后的终点都非常好。
我的博士第一年轮转找导师不是很顺利，但是最后我找到的那个导师，他是一个教科书般完美的导师。我们这个开源项目一开始也有各种各样的被打击，但走到今天，我们有了这么好的一个团队，团队大家都这么有能量、这么有热情，还这么团结。融资我前面也经历了很多各种各样的事情，但我觉得最后我们容纳进来的这些投资人，也是教科书般完美的投资人。
我在当时刚出来融资之前对这些一无所知，所以我想去学点东西，就去看了一些书，可能是创始人跟投资人之间相关的一些书，我想理解这是什么东西。那个时候我很多名词都不知道，我不知道什么叫term sheet（投资条款清单），我是在这样的状态下出来融资的。我也不知道什么叫做估值，什么叫做种子轮，很多基本概念我都不知道、都不理解。pitch deck（融资演示文稿）是什么？pitch deck这个词我都没有听说过，完全没有概念。有个人跟我说，你们有没有拿term sheet？我说啥是term sheet？我是在这样一个状态里面。所以我就尝试去学这些东西，但是我从书本里面看到的，书本里写的都是美好。
书本里面告诉我的那个投资人和创始人之间的关系，是一个终身友谊的关系，是一个你们并肩作战的关系。虽然我早有准备，知道童话总是美好的，但现实不是这样的，实操中还是大相径庭，现实总是复杂很多。但是我最后真的跟我们匹配的投资人、这些合伙人，他们又回到了我当初在教科书里面看到的那个所谓的投资人跟创始人之间的关系，就是书本也没有骗我们。包括我读博士之前，很多人跟我描述过的博士导师跟学生之间的关系，我听到的一些也是过于美好的，但是我最后拿到了。
那些美好的描述，它们都没有骗我。世界上存在那么纯粹、那么好的导师，存在那么好的投资人，存在那么好的采访者。但是绝大多数人他们没有坚持到把那个跌宕起伏的过程走完，没有坚持到相信那个好的东西其实是存在的。只是说你要筛选，只是说你要有耐心，等着它最后显露出来，你要有这个耐心，让那些不是理想状态的沙砾自己脱落掉。但很多人可能在中间就开始怀疑了、放弃了，或者是他不再相信。
但我很想借这个机会说，那些好东西都存在，所有好的东西都不是编出来的。但是你要非常相信它，你要相信到你身边没有这样的人你还相信他，然后有一天，那个跟你一样相信的人会跟你相遇。
陈茜：这一段特别好，刚刚我都有点想流泪。最后两个问题。你是一个逻辑如此缜密之人，但是就像你说的，这个世界上很多东西是乱的，或者它逻辑上是不成立的，有很多随机的地方，世界是一个草台班子，这件事情能自洽吗？还是说你其实是会痛苦的？
盛颖：在我的逻辑里是自洽的，我的逻辑不受我看到的事情的干扰。痛苦也有，是会痛苦的。其实我是非常情绪化的人，很多很微小的事情会对我造成非常大的情绪影响，但是我能够把情绪影响跟我的价值观构建分离开。
比如说我看到了很多事情，它们是我不想看到、不希望它发生的，但它们都发生了，然后我觉得很不高兴。但是我看完它们之后，不会导致我觉得那是正常的。我仍然会坚信那个我没看见、但我相信是对的东西。我仍然会坚信有一个我想看见的世界，但是我现在没看见，只是我还没看见它而已。这个事情我可能会相信它几年、10年的时间，我还相信它在那里，这个东西很难被改变。
而我过往的经历告诉我，它们其实都存在，最后我都遇到了它们。所以我有很多正反馈。但我觉得有很多人是没有看到正反馈的，所以你也不能要求所有人都坚持。但是我觉得我是幸运的，因为我全都看到正反馈，我的正反馈循环让我在后面遇到类似情况的时候，能坚持得越来越久。
可能我第一次的时候等了几个月，然后它被验证了。下一次我等了几年，它被验证了。再下一次我等了10年，它又被验证了。但我就知道了，它总是能被验证，下次我可以等20年，再下次可以等到人生可能都等完了。但至少我等到了，我觉得别人也能等到。
陈茜：你有没有想过，因为你是对的人、你是正确地去做这件事情的人，所以你等到了。比如说有些人可能对自己的认知有误，他可能不是最正确的那个人，可能不是有天分的那个人，可能他等下去就是等不到的。
盛颖：那就需要找到自洽吧。比方说我说我等了10年最后等到了，但如果我自己心里的一些认知跟世界一直是不吻合的，这10年里我一直都是很割裂的存在，我觉得也可以，我也可以一直很割裂地存在。就算我整个人生都很割裂，我也不想妥协。我觉得你能不能找到那个边界是重要的。
其实我想说，有这个割裂是完全可以的。人不会真的很痛苦，人们只是害怕而已。但如果有个人告诉你说，就这样，就这么回事，没关系，其实就真的没关系。
首先这世上也没有绝对的正确，我也不能说我是正确的人，大家都是正确的人。每个人都有自己的想法，你所谓的正确在别人的眼中不正确，也完全可以，没有任何问题。但唯一的重点就是，你是不是按照你自己的想法去认知和行动，还是你其实是被别人牵着走的，或者你觉得自己在妥协。你只要不觉得自己在妥协，都没关系，哪怕你真的错了就错了吧，也没关系。
但是我非常不喜欢的是，大家都变成了不能执行自己的意志，这样是不好的。如果所有人都执行自己的意志，哪怕你不和谐，那也是自然存在的，其实本来就合理。
陈茜：好的，那以上就是我们所有的问题了，非常感谢，谢谢盛颖。
盛颖：谢谢。
注：部分图片来源于网络
本文来自微信公众号“硅谷101”，作者：硅谷101，36氪经授权发布。
