CastMind Reads
伊尔亚·苏茨克维:我们正从规模化时代走向研究时代
苏茨克维解释为什么规模化时代结束了:只会刷题的模型、情绪作为价值函数、泛化这个根本瓶颈,以及超级智能该怎么部署、对齐和被看见
OpenAI 联合创始人、SSI 创始人伊尔亚·苏茨克维在这期 Dwarkesh Podcast 里给出了一个清晰的分期:2012–2020 年是研究时代,2020–2025 年是规模化时代,现在又回到了研究时代,只是手里多了大算力。他认为模型最根本的缺陷是泛化远不如人。他还谈到价值函数与情绪、超级智能该怎么部署、对齐该以什么为目标,以及他自己的研究品味。这篇精读梳理他的推理链,也标出他刻意没说的部分。
这一期的核心判断
- 01苏茨克维认为,模型测评亮眼、经济影响却滞后,是因为 RL 环境常被照着测评设计,加上模型泛化远不如人,像只会刷题的竞赛选手。
- 02他认为 2020–2025 年是规模化时代;数据有限,再放大 100 倍也不会脱胎换骨,行业回到带着大算力的研究时代,瓶颈变成了想法。
- 03他认为最根本的问题是泛化:人在数学、编程这类进化没准备过的领域也学得又快又稳,说明存在更好的学习原理;他有看法但不便公开。
- 04他认为超级智能应是能学会任何工作的“15 岁少年”,部署本身就是学习;他比一年前更看重提前、渐进地让世界看见强大 AI。
- 05他主张造关心有感知生命的 AI,并希望给最强系统的力量设上限。
你让模型修一个 bug。它说"天哪,你说得太对了",修完了,却引入了第二个 bug。你指出第二个,它再次道歉,顺手把第一个 bug 改了回来。两个 bug 可以这样一直来回切换。
苏茨克维用这个 vibe coding 里几乎人人遇到过的场景,引出这期访谈的第一个谜题。模型在测评上表现很好,那些测评看起来也确实很难,可它的经济影响明显落后。一个模型怎么能一边做出惊人的事,一边在这种地方原地打转?
苏茨克维是 OpenAI 的联合创始人和前首席科学家。从 AlexNet 到 GPT-3,深度学习史上好几项关键工作都有他的名字。2024 年他离开 OpenAI,创办了 Safe Superintelligence(SSI)。这家公司到现在没有发布产品。主持人德瓦克什·帕特尔(Dwarkesh Patel)在节目中坦白,准备这期很难,因为他和其他人都不知道苏茨克维在做什么。
所以这期对话的价值主要不在 SSI 的秘密,而在他怎么看整个领域:哪里卡住了,为什么卡住,接下来该比拼什么。他也几次明说,最关键的那一块他不会讲。
模型考得好、干活差,因为它们像只会刷题的学生
苏茨克维给了两个解释。第一个他自己说"有点异想天开":强化学习训练可能让模型变得太一根筋、太狭窄。它在某些方面更敏锐,在另一些方面却变得迟钝,结果连基本的事都做不好。
第二个解释更值得细看,要从两种训练方式的区别讲起。预训练是让模型读海量文本,学着预测下一个词。强化学习(RL)是给模型布置任务,让它自己尝试,按结果打分,再用分数调整模型。预训练时代有一个问题根本不用回答:用什么数据训练?答案是"全部"。到了 RL,这个问题必须有人回答。他听说各家公司都有专门的团队,不停地造新的 RL 环境,加进训练配方里。RL 环境可以理解为给模型准备的练习场和考卷,能造的种类几乎没有边界。
问题就出在挑选上。他说,研究员会想:"我希望模型发布时测评好看,什么样的 RL 训练能帮上这个任务?"这往往是无意识的。测评成了出题灵感,再叠加模型本身泛化能力不足,就能解释测评分数和真实表现之间的大部分落差。 德瓦克什总结得很妙:真正在 reward hacking 的,是太盯着测评的人类研究员。reward hacking 原本指模型钻奖励规则的空子,分数很高,却没学会你真正想要的能力。
德瓦克什接着把问题分成两条路。一条是:模型拿了编程竞赛冠军,也没变成有品位的工程师,那就把训练环境扩充到"做出好用的应用"这类任务上。另一条是追问:为什么在竞赛上超越人类,不能自然地让它在别处也变好?也许该做的不是无休止地堆环境,而是找到一种方法,让模型从一个环境学到的东西迁移到另一个环境。
苏茨克维用两个学生回答这个问题。第一个学生立志成为最强的竞赛程序员,练了一万小时,刷完所有题,背熟所有证明技巧,写算法又快又准,最后成了顶尖选手之一。第二个学生觉得竞赛挺酷,大概只练了一百小时,也考得很好。谁的职业生涯会更好?第二个。
他说,模型更像第一个学生,而且更极端。我们想让它擅长竞赛编程,就把史上所有竞赛题找来,再做数据增强造出更多题,统统拿去训练。这样准备出来的选手,所有算法和技巧都在指尖,但没有理由指望它泛化到别处。德瓦克什问:第二个学生在那一百小时之前有什么?苏茨克维的回答是"那种天分"(it factor)。他说本科时就有这样一个同学,所以他知道这种人存在。
预训练又算哪一种学生?德瓦克什提出一种看法:预训练其实也是一万小时练习,只不过免费,因为题目早就散落在训练数据里。它未必比 RL 泛化得更好,只是数据多。苏茨克维没有直接否认。他说预训练的优势就是两点:数据极多,而且不用费心挑选。这些数据很自然,包含大量人的想法和行为,相当于"人把整个世界投影到了文本上"。但预训练很难推理。模型犯一个错,是不是因为那块内容在数据里恰好"支撑不足"?很难说清。
他还认为,预训练没有对应的人类类比。德瓦克什提了两个候选:一是人一生的前十几年,不创造经济价值,却在理解世界;二是进化花三十亿年做的搜索。苏茨克维说两者都有相似之处,预训练试图同时扮演这两种角色,但差别很大。一个 15 岁的人看过的数据只是预训练的零头,知道得少得多,可他知道的东西理解得深得多,也不会犯我们的 AI 犯的那类错。至于进化,他觉得进化可能反而有优势。
情绪可能是人类出厂自带的价值函数
说到进化的优势,苏茨克维讲了一个他读到的神经科学病例。一个人因为中风或事故,大脑里处理情绪的部分受损,从此没有任何情绪:不难过,不生气,也不兴奋。他依然口齿清楚,能解小谜题,测试成绩看起来正常。可他变得极不会做决定,选哪双袜子要花好几个小时,还会做出很糟的财务决策。
苏茨克维的问题是:我们与生俱来的情绪,在让我们成为一个能正常行动的主体这件事上,到底起了什么作用?德瓦克什说,那像是某种价值函数。苏茨克维同意,但他说机器学习里没有好的类比,因为价值函数在现在的主流做法里不怎么重要。
价值函数是什么,他在节目里讲得很清楚。现在的 RL 大致是这样做的:给神经网络一个问题,它可能执行成千上万个动作或思考步骤,最后交出一个解。这个解被打分,分数再作为训练信号,分给整条轨迹里的每一步。所以任务越长,模型在交出答案之前学到的东西越少,几乎为零。他说 OpenAI 的 o1、DeepSeek 的 R1 表面上就是这么训练的。
价值函数做的事,是让模型不必干等到终点。下棋丢了一个子,你不用下完整盘就知道刚才那步错了,导致它的那几步也有问题。做数学或编程也一样。如果你沿着某个方向想了一千步,判断这条路没前途,那一刻就可以把信号传回一千步之前那个决定,告诉自己下次遇到类似情况别走这条路。你不必等到交出最终答案。
德瓦克什提出质疑:DeepSeek R1 的论文里说过,可能的轨迹太多,很难从中间状态学出它值多少;而且编程时人会先想错,再回头,再改。苏茨克维的回应很直接:
这听起来太缺乏对深度学习的信心了。
This sounds like such lack of faith in deep learning.
他承认这可能很难,但认为深度学习做得到,并且"完全预期"价值函数将来会被用上,如果现在还没有的话。回到那个病人,他的意思是:人的价值函数也许在某种重要的方式上受情绪调节,而情绪是进化写死的。这可能正是人能在世界上有效行动的原因。
德瓦克什接着指出一个反差:情绪这么有用,却相当简单。苏茨克维说,情绪也许简单到可以用人能理解的方式画出来,那会很酷。至于为什么简单反而有用,他用"复杂度和稳健性的取舍"来解释:复杂的东西可以非常有用,但简单的东西在非常广的情境里都有用。我们的情绪大多继承自哺乳动物祖先,在人科阶段只微调了一点。人的社会性情绪多一些,但也不复杂。正因为不复杂,它们在一个和祖先环境截然不同的世界里依然好用。不过它们也会出错。他举的例子是饥饿感:在食物过剩的今天,它没能把我们引向正确的方向。
规模化时代结束了,我们回到了带着大算力的研究时代
德瓦克什问:除了数据、参数、算力,还有什么别的扩展维度?苏茨克维先讲了一个关于语言的观察。
过去的机器学习,是大家各自鼓捣,试着弄出有意思的结果。后来 scaling laws 和 GPT-3 出现了。scaling laws 即规模定律:数据、算力、参数按比例加大,效果就能可预测地变好。所有人突然意识到应该扩大规模。他说,"scaling"只是一个词,但它很有力量,因为它直接告诉人该干什么。预训练就是那个被放大的配方:把一定算力、一定数据灌进一定规模的神经网络,就会有结果,而且放大配方,结果会更好。公司喜欢这个,因为投入资源的风险很低。投研究就难多了,你得让研究员去找东西;而多买数据、多买算力,预训练总会给你点什么。
他提到,从推特上一些人的说法看,Gemini 似乎找到了从预训练里挤出更多东西的办法。但数据显然有限,预训练终会把数据用完。下一步要么是改良过的预训练配方,要么是 RL,要么是别的什么。他给出的分期是:2012 到 2020 年是研究时代,2020 到 2025 年是规模化时代,年份可以加上误差范围。现在规模已经这么大,还有人真的相信,再放大 100 倍一切就会脱胎换骨吗?他说他不这么认为。
所以我们又回到了研究时代,只不过手里有了大计算机。
So it's back to the age of research again, just with big computers.
德瓦克什追问:预训练里有一条近乎物理定律的幂律关系,新配方里我们该找什么关系?苏茨克维说,我们已经见过一次转变,从扩展预训练到扩展 RL。据推特上的说法,现在各家花在 RL 上的算力已经超过预训练。原因是 RL 很吃算力:一次 rollout(让模型完整跑一遍任务)很长,而每次 rollout 带来的学习很少。他甚至不想称之为 scaling,而是问:你在做的事,是不是最能发挥算力的做法?价值函数也许能让资源用得更有效。如果找到了全新的训练方式,那它算 scaling,还是只是在用资源?他说界限会变得模糊。
研究时代会是什么气氛?苏茨克维说,规模化时代的一个后果是"scaling 把房间里的空气抽光了"。所有人开始做同一件事,以至于现在公司的数量比想法多得多。硅谷有句老话,想法不值钱,执行才是一切。他觉得这话有道理,但他也在推特上看到有人反问:
既然想法这么便宜,怎么没人有想法?
If ideas are so cheap, how come no one's having any ideas?
他把研究进展拆成两个瓶颈:一是想法,二是把想法变成现实的能力,后者包括算力和工程。90 年代的人有不错的想法,但计算机太小,只能做很小的演示,说服不了谁,那时瓶颈是算力。规模化时代以后,算力已经很大,证明一个想法是否还需要更多算力,就不那么显然了。
他举了几个例子。AlexNet 用了两块 GPU。Transformer 论文里没有一个实验超过 64 块 GPU,按 2017 年的卡算,大约相当于今天的两块。ResNet 也是如此。o1 的推理工作也算不上世界上最吃算力的东西。他的结论带着限定:做研究确实需要一定算力,但未必需要史上最大的算力;如果要做出最好的系统,算力多会有帮助;尤其当大家都在同一范式里,算力就会成为主要的差异来源。
德瓦克什追问得很准:Transformer 能成名,是因为它在越来越大的算力上被验证过。SSI 如果有 50 个想法,却没有前沿实验室那么多算力,怎么知道哪个是下一个 Transformer?苏茨克维算了一笔账。他说 SSI 融了 30 亿美元,按任何绝对标准都不少。别的公司融得多,但大量算力和贷款是留给推理的,也就是让训练好的模型为用户服务。有产品,就要有大批工程师和销售,很多研究要服务产品功能。扣掉这些,真正留给研究的差距会小得多。而且,如果你在做不一样的事,需要最大规模才能证明吗?他认为完全不需要。
德瓦克什又拿出公开估算:OpenAI 这类公司每年光实验就花五六十亿美元,比 SSI 的融资总额还多。苏茨克维的回答是"问题在于你拿它做什么"。他认为别家的工作线更多,模态更多,训练算力的需求更多,于是算力被切碎了。
关于 SSI 自身,德瓦克什提到外界的疑问:SSI 的联合创始人兼前 CEO(丹尼尔·格罗斯)最近去了 Meta,如果 SSI 真有很多突破,这似乎不太可能发生。苏茨克维只"提醒几个可能被忘掉的事实":当时 SSI 正以 320 亿美元估值融资,Meta 提出收购,他拒绝了;而他的前联合创始人在某种意义上接受了,因此获得了大量近期流动性;这位前联合创始人也是 SSI 唯一去了 Meta 的人。
问到 SSI 和别人有什么不同,他说得很朴素:有一些他认为有前途的想法,想研究清楚它们是否真的有前途,"就这么简单"。
我们是一家彻头彻尾的研究时代公司。
We are squarely an age of research company.
他说过去一年进展"相当不错",但还需要更多进展。SSI 是"一次尝试",想成为这件事里的一个声音和参与者。
真正的瓶颈是泛化,而人类证明了它可以做到
讨论完价值函数,苏茨克维特意给它降了调。他说价值函数会让 RL 更高效,这有意义;但凡是有价值函数能做的事,没有它也能做,只是慢一些。
我认为最根本的问题是:这些模型的泛化能力,不知怎么就是比人差得多。这一点非常明显。
The thing which I think is the most fundamental is that these models somehow just generalize dramatically worse than people. And it's super obvious.
泛化,就是从学过的东西推到没见过的情况。德瓦克什把它拆成两个子问题。一是样本效率:为什么模型要比人多得多的数据才能学会?二是可教性:教人不需要可验证的奖励。苏茨克维带研究员时,给他们看代码,讲自己怎么想,他们就能学到他的思路。他不需要设计一套课程、调奖励、处理训练不稳定。第二个问题更接近持续学习,即模型部署之后还能从经验里不断学习,而不是训练完就定型。
苏茨克维先考虑了一个解释:进化。进化可能给了我们一小块最有用的信息。在视觉、听觉、运动这些能力上,他认为进化给得很多。人的灵巧度远超机器人。机器人在仿真里大量训练也能变灵巧,但要它像人一样在真实世界里快速学会一个新技能,看起来还很遥远。所有祖先都需要好的运动能力,所以我们可能有一个"难以置信的先验"。
他提到杨立昆(Yann LeCun)的论点:青少年练十来个小时就能学会开车。苏茨克维说这没错,但我们的视觉太好了。他记得自己五岁时特别迷汽车,那时识别汽车的能力,大概已经够自动驾驶用了。而一个五岁孩子大部分时间待在父母家里,看到的数据非常单一。这也可以归功于进化。
但语言、数学和编程,大概不能归功于进化。这是他推理链里关键的一步:
- 如果一种技能对祖先有用了几百万、几亿年,人擅长它,可以说是进化以某种不明显的方式写进了先验。
- 数学和编程是最近才出现的领域,进化不可能为它们准备先验。
- 可人在这些领域依然学得快、稳、可靠。
- 所以,让人善于学习的,可能不是复杂的先验,而是某种更根本的东西。用他的话说,人类可能就是有更好的机器学习,没有别的原因。
德瓦克什追问:那对应的机器学习原理是什么?人学开车样本少,更接近无监督,而且稳健得惊人,没人给青少年预制一个可验证的奖励。苏茨克维的回答回到了价值函数:青少年有自己的价值函数,一上路就知道自己开得怎么样、有多不自信。除了成瘾这类例外,人的价值函数非常稳健。所以十个小时就能上路。
至于具体怎么让模型做到这一点,苏茨克维说他"有很多看法",但我们活在一个"不是所有机器学习想法都能自由讨论"的世界里,这就是其中之一。他认为人的存在本身就证明这能做到。他也加了一个限定:人类神经元的计算量可能比我们以为的大,如果这一点很关键,事情会更难。无论如何,他认为这指向某种机器学习原理的存在,只是"情况让我很难详细讨论"。德瓦克什开玩笑说:"没人听这个播客的,伊尔亚。"
这个判断直接决定了他对现有路线的看法。他在后面说:
我认为大家现在做的事会走一段路,然后后继乏力。
I think what people are doing right now will go some distance and then peter out.
现有路线还会继续进步,但"不会是那个东西"。那个东西我们还不知道怎么造,很多都取决于理解可靠的泛化。德瓦克什问,一个能像人一样学习、并因此超越人类的系统,多久会出现?他的回答是 5 到 20 年。至于现有路线"停滞"是什么样子,他认为各家公司的停滞会看起来非常相似。停滞了也照样可以有惊人的营收,只是利润未必,因为大家得费很大力气彼此区分。
超级智能更像一个会学习的少年,而不是一个成品
苏茨克维说,有两个词塑造了所有人的思考:AGI 和预训练。
AGI 这个词为什么存在?他认为,它不是因为准确描述了智能的某种终点才存在的,而是在回应另一个词:狭义 AI。从前的跳棋 AI、国际象棋 AI 能赢卡斯帕罗夫,却什么别的都不会,大家说它太窄。于是有人说,我们需要通用 AI,什么都能干。预训练恰好有一个性质:多做预训练,模型几乎在所有事上均匀地变好。两者一结合,就成了"预训练带来 AGI"。他认为现在的 RL 做法,可能正在抹掉预训练留下的这个概念印记。
他认为这两个词"冲过了头"。按 AGI 的定义想一想,人类自己就不是 AGI。 人有一套基础技能,但缺乏大量知识,靠的是持续学习。所以即便做出了安全的超级智能,问题是它在持续学习曲线的哪个位置?他的设想是一个"超级聪明的 15 岁少年":很好学,懂得不多,你让他去当程序员,去当医生,去学。部署本身会包含一段试错学习的过程,"而不是你把成品扔出去"。
德瓦克什把这个图景接了下去。OpenAI 章程一类的 AGI 定义,是"能做人类能做的每一份工作";苏茨克维说的,则是"能学会做每一份工作"的头脑。这样的学习者会像员工一样加入组织。接下来可能有两件事:一是它在机器学习研究上超越人类,于是自我加速;二是即便没有,同一个模型的许多实例分散在经济各处学习,再把学到的东西合并起来,这是人脑做不到的。这会不会带来智能爆炸?
苏茨克维说,快速的经济增长是可能的,甚至很可能。有了能快速学习的 AI,而且数量很多,就会有强大的力量推动它们进入经济,除非有监管拦住,"顺便说一句,可能会有"。但增长有多快很难说。一边是极高效的劳动者,另一边是世界很大,各种事物以不同的速度运转。他还预计,各国规则不同,规则更友好的国家增长会更快。
收益会不会全落进第一家做出这个学习者的公司?两人在这里有一段像样的交锋。
苏茨克维先看经验:过去每次一家公司领先,另一家过一段时间就做出类似的东西,然后在市场上竞争,把价格压下来。他还提出,超级智能 AI 可以既有用又窄。竞争会走向专业化,"竞争喜欢专业化",市场和进化里都能看到这一点:一家公司在某个复杂的经济领域强很多,另一家强在别的领域,第三家特别擅长诉讼。
德瓦克什反问:类人学习者的意义,不就是什么都能学吗?苏茨克维说能学,但你已经投了大量算力和经验,积累到某个高点;别人会说"我不想从头学你学过的东西"。德瓦克什再推一步:那需要很多公司同时拿到持续学习的智能体;如果只有一家先拿到,让实例去学经济里的每一份工作,对一家公司来说似乎是可行的。
苏茨克维承认:"这是一个成立的论证。"但他说他有很强的直觉,事情不会这样发展。
理论上,理论和实践没有区别;实践中有。我认为这会是其中一例。
In theory, there is no difference between theory and practice. In practice there is, and I think that's gonna be one of those.
这段交锋没有收敛。德瓦克什的论证逻辑上站得住,苏茨克维也认了,他给出的只是直觉。
人们想象不出强大的 AI,所以得把它拿出来给人看
SSI 创立时的说法是"直奔超级智能",不做中间产品。德瓦克什问,这个计划还在吗?苏茨克维说"也许",并给了正反两面。
好处是不被日常的市场竞争牵着走。在市场里就得参加"老鼠赛跑",被迫做艰难的取舍。能躲开这些,专注研究,准备好了再出来,是件好事。但他说有两个原因可能让他们改变计划:一是现实层面的,如果时间线拉得很长;二是让最强大的 AI 进入世界、产生影响,本身很有价值。
德瓦克什追问"传达 AI"是什么意思。苏茨克维说,你读一篇文章,讲 AI 会怎样怎样,你觉得挺有意思;然后你亲眼看到 AI 做这做那,两者"无法相比"。
德瓦克什又补了一个更强的理由。他想不出哪个工程领域,是主要靠"想清楚怎么安全"来变安全的。飞机每英里的事故率越来越低,Linux 里的 bug 越来越难找,是因为系统被部署出去,失败被发现、被修复。他还认为,超级智能的风险不只是出现一个恶意的"回形针最大化者",而是这个东西太强,我们连人会怎么用它都想象不出。渐进地接触,也许能分散冲击。
苏茨克维的回应是:即便在直奔的方案里,也会渐进发布。渐进是任何计划的固有部分,问题只是第一个放出门的是什么。
在对话后段,他讲了自己这一年里改变的想法:他现在更看重 AI 被提前、渐进地部署。他特意留了余地,说这个转变"可能"会反向传导进公司的计划。原因是强大的 AI 很难被"感受到"。这就像年轻时去想象年老体衰是什么感觉,你可以聊,可以试着想象,但一回到现实就还是想不出来。他认为包括大多数做 AI 的人在内,都想象不出未来的 AI,因为它和日常所见差得太远。
整个问题就在于力量。
The whole problem is the power.
力量真的很大时会发生什么?既然难以想象,他的答案是:你得把东西展示出来。他接着给出几个明确标注为"预测"的判断:
- 随着 AI 变强,激烈竞争的公司会开始在安全上合作。他提到 OpenAI 和 Anthropic 已经迈出了一小步,并说自己大约三年前在一次演讲中预测过这件事。
- AI 越明显地变强,政府和公众越会想做点什么。
- 现在做 AI 的人觉得 AI 不够强,是因为它会犯错。总有一刻,AI 会真正让人感到强大。到那时,所有 AI 公司对待安全的方式都会大变,会"偏执得多"。
"我们看看我说得对不对。"他说。在他看来,眼下发生的一切,都源于人们看着今天的 AI,想象不出未来的 AI。
值得造的不是自我改进的 AI,而是关心有感知生命的 AI
公司应该立志造什么?苏茨克维说,所有人都被锁定在一个大想法上:自我改进的 AI。为什么?又是因为公司比想法多。他认为有更好的东西值得造:一个被稳健地对齐、关心有感知生命(sentient life,即能感受体验的生命)的 AI。
他的理由有点反直觉:造一个关心所有有感知生命的 AI,可能比造一个只关心人类的 AI 更容易,因为 AI 自己也会有感知。他用镜像神经元和人对动物的共情来类比:你可以说这份共情不够多,但它存在。他认为这是一种涌现性质,来自我们用同一套回路去模拟别人和模拟自己,因为这样最省事。
德瓦克什不同意。他不确定这是不是解决对齐后该追求的目标。未来大多数有感知的存在都会是 AI,会有万亿乃至千万亿个,人类只占很小一部分。如果目标是让人类对未来文明保有某种控制,这不是最好的标准。
苏茨克维让步了:"有可能,它不是最好的标准。"但他坚持这个想法有可取之处,值得考虑。他还说,如果有一份简短的想法清单,让公司到了那个关头可以拿来用,会很有帮助。他另外提出:如果最强超级智能的力量能以某种方式被设上限,会"实质性地"缓解很多担忧。至于怎么做到,他说不确定。
超级智能会是什么样子?他说不同人的直觉不同。他认为最可能的是,几个这样的 AI 大致同时被造出来;如果集群大到一个大陆那么大,它们会非常强大。对于真正极其强大的系统,他希望它们能以某种方式被约束,或者有某种协议。
他对风险的解释很简洁:一个足够强大的系统,哪怕你让它做一件合理的事,比如关心有感知生命,只要它一根筋地去追求,结果我们可能也不喜欢。 所以答案也许是不要造通常意义上的 RL 智能体。他举了几个不只追求单一目标的系统。人是"半个 RL 智能体":追求一个奖励,情绪让我们厌倦了,又去追求别的。市场是一个很短视的智能体。进化在某些方面很聪明,在另一些方面很笨。政府被设计成三方永不停歇的争斗。
他又把对齐问题拉回到泛化。对齐之所以难,可以说是因为学习人类价值是脆弱的,优化这些价值是脆弱的,学会去优化它们也是脆弱的。这些难道不都是不可靠泛化的例子吗?如果泛化好得多,会怎样?他说这些问题目前还无法回答。
那么,AI 顺利发展的世界是什么样?苏茨克维说,如果最初那几个强大系统真的关心人类、关心有感知生命,至少在相当长时间里能走得好。长期均衡更难。短期可以有全民高收入,大家都过得不错。但"变化是唯一的不变",政治结构有保质期,运行一段时间就会失灵。
一个方案是每人有一个替自己办事的 AI:替你挣钱,替你在政治上争取利益,再交给你一份小报告,你说"很好,继续"。问题是人不再是参与者了,这是个危险的位置。他接着说"先声明,我不喜欢这个方案,但它是一个方案":人通过某种"Neuralink++"成为部分的 AI。这样 AI 理解了什么,我们也就理解了,理解被整体传递;AI 身处什么情境,你也完整地身处其中。他认为这是均衡问题的一个答案。
德瓦克什提出另一个角度。情绪在几百万甚至几十亿年前、在完全不同的环境里形成,至今仍强烈地指导我们,这也许算一次对齐成功。脑干说"和更成功的人交配",皮层负责理解现代语境里"成功"是什么,而脑干能让皮层服从。
苏茨克维把这推到一个更一般的谜:进化是怎么把高层欲望编码进来的?对好闻的食物产生欲望好理解,气味是化学信号,有对应的传感器。可我们很在意社会评价、在意自己的地位。他确信这些社会直觉是天生的。社会状况却不是低层信号,大脑要整合大量信息才能理解。进化却说"你该在意这个",而且做得很快,因为这些复杂的社会性在进化史上出现得相当晚。
他提出一个猜测,并先说明它多半是错的。皮层结构均匀,神经元主要和邻居通信,所以功能会聚成脑区,而脑区在不同人身上的位置大致相同。也许进化直接写死了一个"大脑 GPS 坐标":这个位置放电时,就是你该在意的东西。德瓦克什举了反例:先天失明的人,视觉皮层会被别的感觉占用。苏茨克维说完全同意,还补了一个更强的反例:有些孩子在童年被切除半个大脑,所有脑区都挪到了剩下的一侧,说明位置不是固定的。"所以这个理论不成立。如果它成立就好了。"他说自己没听说过好的假说,自己琢磨过一些想法,也都不满意。
最后,他认为各家公司最终会在大的战略上趋同。随着 AI 变强,大家会越来越清楚该做什么:要找到彼此沟通的办法;第一个真正的超级智能要被对齐,要关心有感知生命、关心人,要民主,或者是这些的某种组合。他认为所有公司迟早会意识到,大家在追求同一件事。
研究品味是多维度的美,加上一个能扛住失败实验的信念
最后一个问题,德瓦克什问到研究品味:作为 AlexNet、GPT-3 等工作的合作者,他的想法从哪里来?
苏茨克维说,别人的方式可能不同。指引他的是一种审美:通过思考人是怎样的,来想 AI 应该是怎样的,但要"正确地"想,因为想错很容易。他举的例子是人工神经元。大脑有���种器官,有褶皱,褶皱大概不重要;神经元为什么重要?因为它们数量很多,这感觉对。所以你要神经元,要某种改变神经元之间连接的局部学习规则,大脑看起来就是这么做的。还有分布式表示,以及"大脑从经验中学习,所以神经网络也该从经验中学习"。你要反复问自己:一样东西是根本的,还是不根本的?
他要找的是美、简洁、优雅、对大脑的正确借鉴,"丑陋没有容身之地",而且这几样要同时出现。同时出现的越多,你对一个自上而下的信念就越有把握。这个信念在实验和你作对的时候派上用场:
当实验跟你作对时,撑住你的就是这个自上而下的信念。
The top-down belief is the thing that sustains you when the experiments contradict you.
如果永远只信数据,你可能在做正确的事,只是代码里有个 bug,而你不知道。你该继续调试,还是认定方向错了?他说,这时靠的就是自上而下的判断:事情必须是这样的,类似的东西一定行得通,所以得继续。
把这期的线索串起来,苏茨克维的立场相当一致。他认为现有路线的问题不在规模不够,而在模型像刷题的学生,泛化太差。人类在数学、编程上的学习速度,证明更好的学习原理存在。这样的原理找到后,超级智能会是一个边部署边学习的少年,而不是一次交付的成品。他对安全的想法也沿着同一条线:人想象不出强大的 AI,就得让人看见;对齐难,本身就是泛化难。
没有回答的问题也很清楚。他最关键的技术想法一个字没讲。5 到 20 年的区间很宽。在"先到者会不会通吃"这一点上,他承认德瓦克什的论证成立,自己只有直觉。SSI 这次尝试对不对,要等它拿出东西来才知道。按他自己的逻辑,到那时世界才会真正"看见"。
其他值得记下的观点
- 开场时德瓦克什说,即便到了奇点,普通人也可能感觉不到多大变化。苏茨克维不同意。他说现在人们只在新闻里看到某公司宣布了一个难以理解的投资额,所以觉得抽象;但 AI 会扩散到整个经济,背后有很强的经济力量推动,影响会被强烈感受到。
- 苏茨克维认为,即便某家公司先做出了全新的东西,别人也不会因此知道怎么做,但会知道"不一样的东西是可能的"。这本身就是信息,大家会去琢磨它是怎么做到的。他也认为,各家的技术路线最终大概也会趋同。
- 他说每一次 AI 能力提升,都会改变做事的方式,这很重要,但他说不清具体会是哪些改变。
- 德瓦克什问,服务器里放一百万个伊尔亚会怎样。苏茨克维认为收益会递减,因为需要的是思考方式不同的人;如果是他本人的完全复制,能带来多少增量他不确定。
- 为什么不同公司的大模型那么像?苏茨克维认为原因在预训练:大家用的数据几乎相同,所以预训练模型几乎一样;差异从 RL 和后训练开始出现,因为不同团队设计了不同的 RL 训练。德瓦克什补充说,单纯调高采样温度只会得到胡言乱语。
- 关于自我博弈(self-play,让模型和自己的副本对抗来学习),苏茨克维说,吸引他的是它能只用算力、不用数据造出模型;如果数据是终极瓶颈,这就很有意思。但以往那种互相竞争的自我博弈太窄,只适合谈判、冲突、某些社交技能和策略。他认为它以别的形式找到了位置,比如辩论、证明者-验证者,以及被激励去找错的 LLM 裁判。更一般地说,智能体之间的竞争会激励差异化:看到别人已经走了某条路,自己就会换一条。这可能是让 AI 智能体产生多样性的一种办法。
对 builder 有什么用
- 给你的模型或 agent 留一套"不刷的题":从真实用户任务里抽一批样本单独存放,永远不拿来调 prompt、选模型或做微调。每次因为某个 benchmark 做了改动,都在这套题上复测一次。这对应苏茨克维说的"研究员在 reward hacking":照着测评优化,最容易被骗的是你自己。
- 让长任务 agent 学会中途止损:在关键步骤后加一次自评,让它判断当前方向是否值得继续,不值得就回退,而不是一路跑到最后才看结果;再把这些放弃点记录下来,作为改进的信号。这是价值函数思路的应用版:不等终点打分,提前知道走错了。
- 申请算力或预算之前,先写清楚要验证的是哪个想法、最少多大规模就能说服自己。苏茨克维的例子是 AlexNet 用两块 GPU、Transformer 的实验不超过 64 块:证明一个新想法往往不需要最大规模,要做最好的系统时,算力多才更有帮助。
- 把 AI 产品上线当成"新员工入职"来设计:预留试错期,把用户的纠正和反馈系统地收集起来,写回记忆或训练数据,并尽早交给真实用户使用。这对应他的两个判断:超级智能是会学习的少年,部署本身就是学习过程;人只有亲眼看见,才会理解 AI 能做什么。
- 开始一个方向之前,写下你的"自上而下的信念":为什么这件事必须行得通,以及实验失败时,你用什么标准判断"是 bug 还是方向错了"。苏茨克维的提醒是,只信数据的人,可能会在一个 bug 面前放弃正确的方向。
原话
“So it's back to the age of research again, just with big computers.”所以我们又回到了研究时代,只不过手里有了大计算机。
“The thing which I think is the most fundamental is that these models somehow just generalize dramatically worse than people. And it's super obvious.”我认为最根本的问题是:这些模型的泛化能力,不知怎么就是比人差得多。这一点非常明显。
“This sounds like such lack of faith in deep learning.”这听起来太缺乏对深度学习的信心了。
“Scaling sucked out all the air in the room. We got to the point where we are in a world where there are more companies than ideas by quite a bit.”scaling 把房间里的空气抽光了。我们走到了这样一个世界:公司的数量比想法多得多。
“If ideas are so cheap, how come no one's having any ideas?”既然想法这么便宜,怎么没人有想法?
“We are squarely an age of research company.”我们是一家彻头彻尾的研究时代公司。
“You will realize that the human being is not an AGI.”你会意识到,人类自己就不是 AGI。
“The whole problem is the power.”整个问题就在于力量。
“You got to be showing the thing.”你得把东西展示出来。
“I think what people are doing right now will go some distance and then peter out.”我认为大家现在做的事会走一段路,然后后继乏力。
“In theory, there is no difference between theory and practice. In practice there is, and I think that's gonna be one of those.”理论上,理论和实践没有区别;实践中有。我认为这会是其中一例。
“The top-down belief is the thing that sustains you when the experiments contradict you.”当实验跟你作对时,撑住你的就是这个自上而下的信念。
读懂这一期需要的概念
- 预训练Pre-training
- 用海量文本让模型学习预测下一个词。苏茨克维认为它的优势是数据极多、且不用挑选,但模型如何依赖这些数据很难推理。
- 强化学习Reinforcement learning (RL)
- 给模型布置任务,让它自己尝试,按结果打分,再用分数调整模型。和预训练不同,RL 要人决定练什么,这就给“照着测评出题”留下了空间。
- RL 环境RL environment
- 为强化学习准备的任务场景和打分规则,相当于给模型的练习场和考卷。苏茨克维说各家都有团队专门造这类环境。
- 奖励投机Reward hacking
- 模型钻奖励规则的空子,分数很高却没学会真正想要的能力。德瓦克什把它引申到人身上:太盯测评的研究员才是真正在 reward hacking。
- 价值函数Value function
- 在任务进行中估计“当前处境好不好”的函数,让模型不必等到最终打分就知道走错了,像下棋丢子立刻知道犯了错。苏茨克维认为人的情绪可能扮演了类似角色。
- Rollout
- 让模型把一个任务完整跑一遍、产生一条轨迹。长任务的 rollout 很耗算力,每次带来的学习信号却很少。
- 规模定律Scaling laws
- 数据、算力、参数按比例加大,模型效果就能可预测地变好的经验规律。它让投入算力成了一种低风险的投资。
- 泛化Generalization
- 把学过的东西推广到没见过的情况。苏茨克维认为这是当前模型和人类之间最根本的差距。
- 样本效率Sample efficiency
- 学会一项能力需要多少数据。人学开车只要十来个小时,模型往往需要多得多的样本。
- 持续学习Continual learning
- 模型部署之后还能从经验中不断学习,而不是训练完就定型。苏茨克维设想的超级智能就是一个持续学习的“15 岁少年”。
- 自我博弈Self-play
- 让模型和自己的副本对抗来学习,可以只用算力、不用数据。苏茨克维认为传统形式太窄,如今以辩论、证明者-验证者、LLM 裁判等形式存在。
关键转折
2025 年,SSI 以 320 亿美元估值融资期间
苏茨克维拒绝了 Meta 对 SSI 的收购提议。
他选择继续独立研究自己认为有前途的技术路线。代价是联合创始人兼 CEO 在某种意义上接受了 Meta 的邀约并离开,外界因此质疑 SSI 的进展;他在访谈中称此人是 SSI 唯一去 Meta 的人。
访谈前的一年里
苏茨克维开始更看重提前、渐进地部署 AI,并表示这“可能”会改变 SSI“直奔超级智能”的计划。
他认为人们想象不出强大的 AI,只有亲眼看见才会改变行为;时间线可能很长也是一个理由。代价是要放弃部分与市场竞争隔离的好处,卷入“老鼠赛跑”里的艰难取舍。
SSI 目前只做研究,暂不回答怎么赚钱。
他认为不受日常市场竞争影响有很大价值,赚钱的答案“会自己显现”。代价是没有产品收入,研究资源完全依赖融资。
信息边界
- 关于 SSI 的说法都来自苏茨克维本人,没有第三方印证:“过去一年进展相当不错”“我们的研究算力足以说服自己和别人”、联合创始人去 Meta 的经过等。他没有透露任何技术细节,读者无法检验。
- 几条行业判断是他转述的推特说法,而非一手信息:Gemini 似乎找到了从预训练里挤出更多东西的办法,各家花在 RL 上的算力已超过预训练。德瓦克什引用的 OpenAI 每年五六十亿美元实验支出也只是公开估算。
- 他最核心的论点(泛化、类人学习原理)恰恰是他声明不便公开讨论的部分;5 到 20 年的预测区间很宽。在“先到者是否通吃”上,他承认德瓦克什的论证成立,自己的反对只基于直觉。
- 字幕是 Substack 官方转写,但只标了匿名说话人,且有几处问答被放错段落,需按上下文判断;德瓦克什的三段赞助口播(Gemini 3、Labelbox、Sardine)未计入精读内容。
本文根据公开访谈的字幕整理改写,原话为节选。完整内容请看原视频。 审校于 2026-10-22