全部精读

CastMind Reads

伊尔亚·苏茨克维:我们正从规模化时代走向研究时代

苏茨克维解释为什么规模化时代结束了:只会刷题的模型、情绪作为价值函数、泛化这个根本瓶颈,以及超级智能该怎么部署、对齐和被看见

Dwarkesh Podcast · 2025-11-25 · 01:36:03 · 27 分钟读完看原视频

OpenAI 联合创始人、SSI 创始人伊尔亚·苏茨克维在这期 Dwarkesh Podcast 里给出了一个清晰的分期:2012–2020 年是研究时代,2020–2025 年是规模化时代,现在又回到了研究时代,只是手里多了大算力。他认为模型最根本的缺陷是泛化远不如人。他还谈到价值函数与情绪、超级智能该怎么部署、对齐该以什么为目标,以及他自己的研究品味。这篇精读梳理他的推理链,也标出他刻意没说的部分。

这一期的核心判断

  1. 01苏茨克维认为,模型测评亮眼、经济影响却滞后,是因为 RL 环境常被照着测评设计,加上模型泛化远不如人,像只会刷题的竞赛选手。
  2. 02他认为 2020–2025 年是规模化时代;数据有限,再放大 100 倍也不会脱胎换骨,行业回到带着大算力的研究时代,瓶颈变成了想法。
  3. 03他认为最根本的问题是泛化:人在数学、编程这类进化没准备过的领域也学得又快又稳,说明存在更好的学习原理;他有看法但不便公开。
  4. 04他认为超级智能应是能学会任何工作的“15 岁少年”,部署本身就是学习;他比一年前更看重提前、渐进地让世界看见强大 AI。
  5. 05他主张造关心有感知生命的 AI,并希望给最强系统的力量设上限。

你让模型修一个 bug。它说"天哪,你说得太对了",修完了,却引入了第二个 bug。你指出第二个,它再次道歉,顺手把第一个 bug 改了回来。两个 bug 可以这样一直来回切换。

苏茨克维用这个 vibe coding 里几乎人人遇到过的场景,引出这期访谈的第一个谜题。模型在测评上表现很好,那些测评看起来也确实很难,可它的经济影响明显落后。一个模型怎么能一边做出惊人的事,一边在这种地方原地打转?

苏茨克维是 OpenAI 的联合创始人和前首席科学家。从 AlexNet 到 GPT-3,深度学习史上好几项关键工作都有他的名字。2024 年他离开 OpenAI,创办了 Safe Superintelligence(SSI)。这家公司到现在没有发布产品。主持人德瓦克什·帕特尔(Dwarkesh Patel)在节目中坦白,准备这期很难,因为他和其他人都不知道苏茨克维在做什么。

所以这期对话的价值主要不在 SSI 的秘密,而在他怎么看整个领域:哪里卡住了,为什么卡住,接下来该比拼什么。他也几次明说,最关键的那一块他不会讲。

模型考得好、干活差,因为它们像只会刷题的学生

苏茨克维给了两个解释。第一个他自己说"有点异想天开":强化学习训练可能让模型变得太一根筋、太狭窄。它在某些方面更敏锐,在另一些方面却变得迟钝,结果连基本的事都做不好。

第二个解释更值得细看,要从两种训练方式的区别讲起。预训练是让模型读海量文本,学着预测下一个词。强化学习(RL)是给模型布置任务,让它自己尝试,按结果打分,再用分数调整模型。预训练时代有一个问题根本不用回答:用什么数据训练?答案是"全部"。到了 RL,这个问题必须有人回答。他听说各家公司都有专门的团队,不停地造新的 RL 环境,加进训练配方里。RL 环境可以理解为给模型准备的练习场和考卷,能造的种类几乎没有边界。

问题就出在挑选上。他说,研究员会想:"我希望模型发布时测评好看,什么样的 RL 训练能帮上这个任务?"这往往是无意识的。测评成了出题灵感,再叠加模型本身泛化能力不足,就能解释测评分数和真实表现之间的大部分落差。 德瓦克什总结得很妙:真正在 reward hacking 的,是太盯着测评的人类研究员。reward hacking 原本指模型钻奖励规则的空子,分数很高,却没学会你真正想要的能力。

德瓦克什接着把问题分成两条路。一条是:模型拿了编程竞赛冠军,也没变成有品位的工程师,那就把训练环境扩充到"做出好用的应用"这类任务上。另一条是追问:为什么在竞赛上超越人类,不能自然地让它在别处也变好?也许该做的不是无休止地堆环境,而是找到一种方法,让模型从一个环境学到的东西迁移到另一个环境。

苏茨克维用两个学生回答这个问题。第一个学生立志成为最强的竞赛程序员,练了一万小时,刷完所有题,背熟所有证明技巧,写算法又快又准,最后成了顶尖选手之一。第二个学生觉得竞赛挺酷,大概只练了一百小时,也考得很好。谁的职业生涯会更好?第二个。

他说,模型更像第一个学生,而且更极端。我们想让它擅长竞赛编程,就把史上所有竞赛题找来,再做数据增强造出更多题,统统拿去训练。这样准备出来的选手,所有算法和技巧都在指尖,但没有理由指望它泛化到别处。德瓦克什问:第二个学生在那一百小时之前有什么?苏茨克维的回答是"那种天分"(it factor)。他说本科时就有这样一个同学,所以他知道这种人存在。

预训练又算哪一种学生?德瓦克什提出一种看法:预训练其实也是一万小时练习,只不过免费,因为题目早就散落在训练数据里。它未必比 RL 泛化得更好,只是数据多。苏茨克维没有直接否认。他说预训练的优势就是两点:数据极多,而且不用费心挑选。这些数据很自然,包含大量人的想法和行为,相当于"人把整个世界投影到了文本上"。但预训练很难推理。模型犯一个错,是不是因为那块内容在数据里恰好"支撑不足"?很难说清。

他还认为,预训练没有对应的人类类比。德瓦克什提了两个候选:一是人一生的前十几年,不创造经济价值,却在理解世界;二是进化花三十亿年做的搜索。苏茨克维说两者都有相似之处,预训练试图同时扮演这两种角色,但差别很大。一个 15 岁的人看过的数据只是预训练的零头,知道得少得多,可他知道的东西理解得深得多,也不会犯我们的 AI 犯的那类错。至于进化,他觉得进化可能反而有优势。

情绪可能是人类出厂自带的价值函数

说到进化的优势,苏茨克维讲了一个他读到的神经科学病例。一个人因为中风或事故,大脑里处理情绪的部分受损,从此没有任何情绪:不难过,不生气,也不兴奋。他依然口齿清楚,能解小谜题,测试成绩看起来正常。可他变得极不会做决定,选哪双袜子要花好几个小时,还会做出很糟的财务决策。

苏茨克维的问题是:我们与生俱来的情绪,在让我们成为一个能正常行动的主体这件事上,到底起了什么作用?德瓦克什说,那像是某种价值函数。苏茨克维同意,但他说机器学习里没有好的类比,因为价值函数在现在的主流做法里不怎么重要。

价值函数是什么,他在节目里讲得很清楚。现在的 RL 大致是这样做的:给神经网络一个问题,它可能执行成千上万个动作或思考步骤,最后交出一个解。这个解被打分,分数再作为训练信号,分给整条轨迹里的每一步。所以任务越长,模型在交出答案之前学到的东西越少,几乎为零。他说 OpenAI 的 o1、DeepSeek 的 R1 表面上就是这么训练的。

价值函数做的事,是让模型不必干等到终点。下棋丢了一个子,你不用下完整盘就知道刚才那步错了,导致它的那几步也有问题。做数学或编程也一样。如果你沿着某个方向想了一千步,判断这条路没前途,那一刻就可以把信号传回一千步之前那个决定,告诉自己下次遇到类似情况别走这条路。你不必等到交出最终答案。

德瓦克什提出质疑:DeepSeek R1 的论文里说过,可能的轨迹太多,很难从中间状态学出它值多少;而且编程时人会先想错,再回头,再改。苏茨克维的回应很直接:

这听起来太缺乏对深度学习的信心了。

This sounds like such lack of faith in deep learning.

他承认这可能很难,但认为深度学习做得到,并且"完全预期"价值函数将来会被用上,如果现在还没有的话。回到那个病人,他的意思是:人的价值函数也许在某种重要的方式上受情绪调节,而情绪是进化写死的。这可能正是人能在世界上有效行动的原因。

德瓦克什接着指出一个反差:情绪这么有用,却相当简单。苏茨克维说,情绪也许简单到可以用人能理解的方式画出来,那会很酷。至于为什么简单反而有用,他用"复杂度和稳健性的取舍"来解释:复杂的东西可以非常有用,但简单的东西在非常广的情境里都有用。我们的情绪大多继承自哺乳动物祖先,在人科阶段只微调了一点。人的社会性情绪多一些,但也不复杂。正因为不复杂,它们在一个和祖先环境截然不同的世界里依然好用。不过它们也会出错。他举的例子是饥饿感:在食物过剩的今天,它没能把我们引向正确的方向。

规模化时代结束了,我们回到了带着大算力的研究时代

德瓦克什问:除了数据、参数、算力,还有什么别的扩展维度?苏茨克维先讲了一个关于语言的观察。

过去的机器学习,是大家各自鼓捣,试着弄出有意思的结果。后来 scaling laws 和 GPT-3 出现了。scaling laws 即规模定律:数据、算力、参数按比例加大,效果就能可预测地变好。所有人突然意识到应该扩大规模。他说,"scaling"只是一个词,但它很有力量,因为它直接告诉人该干什么。预训练就是那个被放大的配方:把一定算力、一定数据灌进一定规模的神经网络,就会有结果,而且放大配方,结果会更好。公司喜欢这个,因为投入资源的风险很低。投研究就难多了,你得让研究员去找东西;而多买数据、多买算力,预训练总会给你点什么。

他提到,从推特上一些人的说法看,Gemini 似乎找到了从预训练里挤出更多东西的办法。但数据显然有限,预训练终会把数据用完。下一步要么是改良过的预训练配方,要么是 RL,要么是别的什么。他给出的分期是:2012 到 2020 年是研究时代,2020 到 2025 年是规模化时代,年份可以加上误差范围。现在规模已经这么大,还有人真的相信,再放大 100 倍一切就会脱胎换骨吗?他说他不这么认为。

所以我们又回到了研究时代,只不过手里有了大计算机。

So it's back to the age of research again, just with big computers.

德瓦克什追问:预训练里有一条近乎物理定律的幂律关系,新配方里我们该找什么关系?苏茨克维说,我们已经见过一次转变,从扩展预训练到扩展 RL。据推特上的说法,现在各家花在 RL 上的算力已经超过预训练。原因是 RL 很吃算力:一次 rollout(让模型完整跑一遍任务)很长,而每次 rollout 带来的学习很少。他甚至不想称之为 scaling,而是问:你在做的事,是不是最能发挥算力的做法?价值函数也许能让资源用得更有效。如果找到了全新的训练方式,那它算 scaling,还是只是在用资源?他说界限会变得模糊。

研究时代会是什么气氛?苏茨克维说,规模化时代的一个后果是"scaling 把房间里的空气抽光了"。所有人开始做同一件事,以至于现在公司的数量比想法多得多。硅谷有句老话,想法不值钱,执行才是一切。他觉得这话有道理,但他也在推特上看到有人反问:

既然想法这么便宜,怎么没人有想法?

If ideas are so cheap, how come no one's having any ideas?

他把研究进展拆成两个瓶颈:一是想法,二是把想法变成现实的能力,后者包括算力和工程。90 年代的人有不错的想法,但计算机太小,只能做很小的演示,说服不了谁,那时瓶颈是算力。规模化时代以后,算力已经很大,证明一个想法是否还需要更多算力,就不那么显然了。

他举了几个例子。AlexNet 用了两块 GPU。Transformer 论文里没有一个实验超过 64 块 GPU,按 2017 年的卡算,大约相当于今天的两块。ResNet 也是如此。o1 的推理工作也算不上世界上最吃算力的东西。他的结论带着限定:做研究确实需要一定算力,但未必需要史上最大的算力;如果要做出最好的系统,算力多会有帮助;尤其当大家都在同一范式里,算力就会成为主要的差异来源。

德瓦克什追问得很准:Transformer 能成名,是因为它在越来越大的算力上被验证过。SSI 如果有 50 个想法,却没有前沿实验室那么多算力,怎么知道哪个是下一个 Transformer?苏茨克维算了一笔账。他说 SSI 融了 30 亿美元,按任何绝对标准都不少。别的公司融得多,但大量算力和贷款是留给推理的,也就是让训练好的模型为用户服务。有产品,就要有大批工程师和销售,很多研究要服务产品功能。扣掉这些,真正留给研究的差距会小得多。而且,如果你在做不一样的事,需要最大规模才能证明吗?他认为完全不需要。

德瓦克什又拿出公开估算:OpenAI 这类公司每年光实验就花五六十亿美元,比 SSI 的融资总额还多。苏茨克维的回答是"问题在于你拿它做什么"。他认为别家的工作线更多,模态更多,训练算力的需求更多,于是算力被切碎了。

关于 SSI 自身,德瓦克什提到外界的疑问:SSI 的联合创始人兼前 CEO(丹尼尔·格罗斯)最近去了 Meta,如果 SSI 真有很多突破,这似乎不太可能发生。苏茨克维只"提醒几个可能被忘掉的事实":当时 SSI 正以 320 亿美元估值融资,Meta 提出收购,他拒绝了;而他的前联合创始人在某种意义上接受了,因此获得了大量近期流动性;这位前联合创始人也是 SSI 唯一去了 Meta 的人。

问到 SSI 和别人有什么不同,他说得很朴素:有一些他认为有前途的想法,想研究清楚它们是否真的有前途,"就这么简单"。

我们是一家彻头彻尾的研究时代公司。

We are squarely an age of research company.

他说过去一年进展"相当不错",但还需要更多进展。SSI 是"一次尝试",想成为这件事里的一个声音和参与者。

真正的瓶颈是泛化,而人类证明了它可以做到

讨论完价值函数,苏茨克维特意给它降了调。他说价值函数会让 RL 更高效,这有意义;但凡是有价值函数能做的事,没有它也能做,只是慢一些。

我认为最根本的问题是:这些模型的泛化能力,不知怎么就是比人差得多。这一点非常明显。

The thing which I think is the most fundamental is that these models somehow just generalize dramatically worse than people. And it's super obvious.

泛化,就是从学过的东西推到没见过的情况。德瓦克什把它拆成两个子问题。一是样本效率:为什么模型要比人多得多的数据才能学会?二是可教性:教人不需要可验证的奖励。苏茨克维带研究员时,给他们看代码,讲自己怎么想,他们就能学到他的思路。他不需要设计一套课程、调奖励、处理训练不稳定。第二个问题更接近持续学习,即模型部署之后还能从经验里不断学习,而不是训练完就定型。

苏茨克维先考虑了一个解释:进化。进化可能给了我们一小块最有用的信息。在视觉、听觉、运动这些能力上,他认为进化给得很多。人的灵巧度远超机器人。机器人在仿真里大量训练也能变灵巧,但要它像人一样在真实世界里快速学会一个新技能,看起来还很遥远。所有祖先都需要好的运动能力,所以我们可能有一个"难以置信的先验"。

他提到杨立昆(Yann LeCun)的论点:青少年练十来个小时就能学会开车。苏茨克维说这没错,但我们的视觉太好了。他记得自己五岁时特别迷汽车,那时识别汽车的能力,大概已经够自动驾驶用了。而一个五岁孩子大部分时间待在父母家里,看到的数据非常单一。这也可以归功于进化。

但语言、数学和编程,大概不能归功于进化。这是他推理链里关键的一步:

  1. 如果一种技能对祖先有用了几百万、几亿年,人擅长它,可以说是进化以某种不明显的方式写进了先验。
  2. 数学和编程是最近才出现的领域,进化不可能为它们准备先验。
  3. 可人在这些领域依然学得快、稳、可靠。
  4. 所以,让人善于学习的,可能不是复杂的先验,而是某种更根本的东西。用他的话说,人类可能就是有更好的机器学习,没有别的原因。

德瓦克什追问:那对应的机器学习原理是什么?人学开车样本少,更接近无监督,而且稳健得惊人,没人给青少年预制一个可验证的奖励。苏茨克维的回答回到了价值函数:青少年有自己的价值函数,一上路就知道自己开得怎么样、有多不自信。除了成瘾这类例外,人的价值函数非常稳健。所以十个小时就能上路。

至于具体怎么让模型做到这一点,苏茨克维说他"有很多看法",但我们活在一个"不是所有机器学习想法都能自由讨论"的世界里,这就是其中之一。他认为人的存在本身就证明这能做到。他也加了一个限定:人类神经元的计算量可能比我们以为的大,如果这一点很关键,事情会更难。无论如何,他认为这指向某种机器学习原理的存在,只是"情况让我很难详细讨论"。德瓦克什开玩笑说:"没人听这个播客的,伊尔亚。"

这个判断直接决定了他对现有路线的看法。他在后面说:

我认为大家现在做的事会走一段路,然后后继乏力。

I think what people are doing right now will go some distance and then peter out.

现有路线还会继续进步,但"不会是那个东西"。那个东西我们还不知道怎么造,很多都取决于理解可靠的泛化。德瓦克什问,一个能像人一样学习、并因此超越人类的系统,多久会出现?他的回答是 5 到 20 年。至于现有路线"停滞"是什么样子,他认为各家公司的停滞会看起来非常相似。停滞了也照样可以有惊人的营收,只是利润未必,因为大家得费很大力气彼此区分。

超级智能更像一个会学习的少年,而不是一个成品

苏茨克维说,有两个词塑造了所有人的思考:AGI 和预训练。

AGI 这个词为什么存在?他认为,它不是因为准确描述了智能的某种终点才存在的,而是在回应另一个词:狭义 AI。从前的跳棋 AI、国际象棋 AI 能赢卡斯帕罗夫,却什么别的都不会,大家说它太窄。于是有人说,我们需要通用 AI,什么都能干。预训练恰好有一个性质:多做预训练,模型几乎在所有事上均匀地变好。两者一结合,就成了"预训练带来 AGI"。他认为现在的 RL 做法,可能正在抹掉预训练留下的这个概念印记。

他认为这两个词"冲过了头"。按 AGI 的定义想一想,人类自己就不是 AGI。 人有一套基础技能,但缺乏大量知识,靠的是持续学习。所以即便做出了安全的超级智能,问题是它在持续学习曲线的哪个位置?他的设想是一个"超级聪明的 15 岁少年":很好学,懂得不多,你让他去当程序员,去当医生,去学。部署本身会包含一段试错学习的过程,"而不是你把成品扔出去"。

德瓦克什把这个图景接了下去。OpenAI 章程一类的 AGI 定义,是"能做人类能做的每一份工作";苏茨克维说的,则是"能学会做每一份工作"的头脑。这样的学习者会像员工一样加入组织。接下来可能有两件事:一是它在机器学习研究上超越人类,于是自我加速;二是即便没有,同一个模型的许多实例分散在经济各处学习,再把学到的东西合并起来,这是人脑做不到的。这会不会带来智能爆炸?

苏茨克维说,快速的经济增长是可能的,甚至很可能。有了能快速学习的 AI,而且数量很多,就会有强大的力量推动它们进入经济,除非有监管拦住,"顺便说一句,可能会有"。但增长有多快很难说。一边是极高效的劳动者,另一边是世界很大,各种事物以不同的速度运转。他还预计,各国规则不同,规则更友好的国家增长会更快。

收益会不会全落进第一家做出这个学习者的公司?两人在这里有一段像样的交锋。

苏茨克维先看经验:过去每次一家公司领先,另一家过一段时间就做出类似的东西,然后在市场上竞争,把价格压下来。他还提出,超级智能 AI 可以既有用又窄。竞争会走向专业化,"竞争喜欢专业化",市场和进化里都能看到这一点:一家公司在某个复杂的经济领域强很多,另一家强在别的领域,第三家特别擅长诉讼。

德瓦克什反问:类人学习者的意义,不就是什么都能学吗?苏茨克维说能学,但你已经投了大量算力和经验,积累到某个高点;别人会说"我不想从头学你学过的东西"。德瓦克什再推一步:那需要很多公司同时拿到持续学习的智能体;如果只有一家先拿到,让实例去学经济里的每一份工作,对一家公司来说似乎是可行的。

苏茨克维承认:"这是一个成立的论证。"但他说他有很强的直觉,事情不会这样发展。

理论上,理论和实践没有区别;实践中有。我认为这会是其中一例。

In theory, there is no difference between theory and practice. In practice there is, and I think that's gonna be one of those.

这段交锋没有收敛。德瓦克什的论证逻辑上站得住,苏茨克维也认了,他给出的只是直觉。

人们想象不出强大的 AI,所以得把它拿出来给人看

SSI 创立时的说法是"直奔超级智能",不做中间产品。德瓦克什问,这个计划还在吗?苏茨克维说"也许",并给了正反两面。

好处是不被日常的市场竞争牵着走。在市场里就得参加"老鼠赛跑",被迫做艰难的取舍。能躲开这些,专注研究,准备好了再出来,是件好事。但他说有两个原因可能让他们改变计划:一是现实层面的,如果时间线拉得很长;二是让最强大的 AI 进入世界、产生影响,本身很有价值。

德瓦克什追问"传达 AI"是什么意思。苏茨克维说,你读一篇文章,讲 AI 会怎样怎样,你觉得挺有意思;然后你亲眼看到 AI 做这做那,两者"无法相比"。

德瓦克什又补了一个更强的理由。他想不出哪个工程领域,是主要靠"想清楚怎么安全"来变安全的。飞机每英里的事故率越来越低,Linux 里的 bug 越来越难找,是因为系统被部署出去,失败被发现、被修复。他还认为,超级智能的风险不只是出现一个恶意的"回形针最大化者",而是这个东西太强,我们连人会怎么用它都想象不出。渐进地接触,也许能分散冲击。

苏茨克维的回应是:即便在直奔的方案里,也会渐进发布。渐进是任何计划的固有部分,问题只是第一个放出门的是什么。

在对话后段,他讲了自己这一年里改变的想法:他现在更看重 AI 被提前、渐进地部署。他特意留了余地,说这个转变"可能"会反向传导进公司的计划。原因是强大的 AI 很难被"感受到"。这就像年轻时去想象年老体衰是什么感觉,你可以聊,可以试着想象,但一回到现实就还是想不出来。他认为包括大多数做 AI 的人在内,都想象不出未来的 AI,因为它和日常所见差得太远。

整个问题就在于力量。

The whole problem is the power.

力量真的很大时会发生什么?既然难以想象,他的答案是:你得把东西展示出来。他接着给出几个明确标注为"预测"的判断:

  • 随着 AI 变强,激烈竞争的公司会开始在安全上合作。他提到 OpenAI 和 Anthropic 已经迈出了一小步,并说自己大约三年前在一次演讲中预测过这件事。
  • AI 越明显地变强,政府和公众越会想做点什么。
  • 现在做 AI 的人觉得 AI 不够强,是因为它会犯错。总有一刻,AI 会真正让人感到强大。到那时,所有 AI 公司对待安全的方式都会大变,会"偏执得多"。

"我们看看我说得对不对。"他说。在他看来,眼下发生的一切,都源于人们看着今天的 AI,想象不出未来的 AI。

值得造的不是自我改进的 AI,而是关心有感知生命的 AI

公司应该立志造什么?苏茨克维说,所有人都被锁定在一个大想法上:自我改进的 AI。为什么?又是因为公司比想法多。他认为有更好的东西值得造:一个被稳健地对齐、关心有感知生命(sentient life,即能感受体验的生命)的 AI。

他的理由有点反直觉:造一个关心所有有感知生命的 AI,可能比造一个只关心人类的 AI 更容易,因为 AI 自己也会有感知。他用镜像神经元和人对动物的共情来类比:你可以说这份共情不够多,但它存在。他认为这是一种涌现性质,来自我们用同一套回路去模拟别人和模拟自己,因为这样最省事。

德瓦克什不同意。他不确定这是不是解决对齐后该追求的目标。未来大多数有感知的存在都会是 AI,会有万亿乃至千万亿个,人类只占很小一部分。如果目标是让人类对未来文明保有某种控制,这不是最好的标准。

苏茨克维让步了:"有可能,它不是最好的标准。"但他坚持这个想法有可取之处,值得考虑。他还说,如果有一份简短的想法清单,让公司到了那个关头可以拿来用,会很有帮助。他另外提出:如果最强超级智能的力量能以某种方式被设上限,会"实质性地"缓解很多担忧。至于怎么做到,他说不确定。

超级智能会是什么样子?他说不同人的直觉不同。他认为最可能的是,几个这样的 AI 大致同时被造出来;如果集群大到一个大陆那么大,它们会非常强大。对于真正极其强大的系统,他希望它们能以某种方式被约束,或者有某种协议。

他对风险的解释很简洁:一个足够强大的系统,哪怕你让它做一件合理的事,比如关心有感知生命,只要它一根筋地去追求,结果我们可能也不喜欢。 所以答案也许是不要造通常意义上的 RL 智能体。他举了几个不只追求单一目标的系统。人是"半个 RL 智能体":追求一个奖励,情绪让我们厌倦了,又去追求别的。市场是一个很短视的智能体。进化在某些方面很聪明,在另一些方面很笨。政府被设计成三方永不停歇的争斗。

他又把对齐问题拉回到泛化。对齐之所以难,可以说是因为学习人类价值是脆弱的,优化这些价值是脆弱的,学会去优化它们也是脆弱的。这些难道不都是不可靠泛化的例子吗?如果泛化好得多,会怎样?他说这些问题目前还无法回答。

那么,AI 顺利发展的世界是什么样?苏茨克维说,如果最初那几个强大系统真的关心人类、关心有感知生命,至少在相当长时间里能走得好。长期均衡更难。短期可以有全民高收入,大家都过得不错。但"变化是唯一的不变",政治结构有保质期,运行一段时间就会失灵。

一个方案是每人有一个替自己办事的 AI:替你挣钱,替你在政治上争取利益,再交给你一份小报告,你说"很好,继续"。问题是人不再是参与者了,这是个危险的位置。他接着说"先声明,我不喜欢这个方案,但它是一个方案":人通过某种"Neuralink++"成为部分的 AI。这样 AI 理解了什么,我们也就理解了,理解被整体传递;AI 身处什么情境,你也完整地身处其中。他认为这是均衡问题的一个答案。

德瓦克什提出另一个角度。情绪在几百万甚至几十亿年前、在完全不同的环境里形成,至今仍强烈地指导我们,这也许算一次对齐成功。脑干说"和更成功的人交配",皮层负责理解现代语境里"成功"是什么,而脑干能让皮层服从。

苏茨克维把这推到一个更一般的谜:进化是怎么把高层欲望编码进来的?对好闻的食物产生欲望好理解,气味是化学信号,有对应的传感器。可我们很在意社会评价、在意自己的地位。他确信这些社会直觉是天生的。社会状况却不是低层信号,大脑要整合大量信息才能理解。进化却说"你该在意这个",而且做得很快,因为这些复杂的社会性在进化史上出现得相当晚。

他提出一个猜测,并先说明它多半是错的。皮层结构均匀,神经元主要和邻居通信,所以功能会聚成脑区,而脑区在不同人身上的位置大致相同。也许进化直接写死了一个"大脑 GPS 坐标":这个位置放电时,就是你该在意的东西。德瓦克什举了反例:先天失明的人,视觉皮层会被别的感觉占用。苏茨克维说完全同意,还补了一个更强的反例:有些孩子在童年被切除半个大脑,所有脑区都挪到了剩下的一侧,说明位置不是固定的。"所以这个理论不成立。如果它成立就好了。"他说自己没听说过好的假说,自己琢磨过一些想法,也都不满意。

最后,他认为各家公司最终会在大的战略上趋同。随着 AI 变强,大家会越来越清楚该做什么:要找到彼此沟通的办法;第一个真正的超级智能要被对齐,要关心有感知生命、关心人,要民主,或者是这些的某种组合。他认为所有公司迟早会意识到,大家在追求同一件事。

研究品味是多维度的美,加上一个能扛住失败实验的信念

最后一个问题,德瓦克什问到研究品味:作为 AlexNet、GPT-3 等工作的合作者,他的想法从哪里来?

苏茨克维说,别人的方式可能不同。指引他的是一种审美:通过思考人是怎样的,来想 AI 应该是怎样的,但要"正确地"想,因为想错很容易。他举的例子是人工神经元。大脑有���种器官,有褶皱,褶皱大概不重要;神经元为什么重要?因为它们数量很多,这感觉对。所以你要神经元,要某种改变神经元之间连接的局部学习规则,大脑看起来就是这么做的。还有分布式表示,以及"大脑从经验中学习,所以神经网络也该从经验中学习"。你要反复问自己:一样东西是根本的,还是不根本的?

他要找的是美、简洁、优雅、对大脑的正确借鉴,"丑陋没有容身之地",而且这几样要同时出现。同时出现的越多,你对一个自上而下的信念就越有把握。这个信念在实验和你作对的时候派上用场:

当实验跟你作对时,撑住你的就是这个自上而下的信念。

The top-down belief is the thing that sustains you when the experiments contradict you.

如果永远只信数据,你可能在做正确的事,只是代码里有个 bug,而你不知道。你该继续调试,还是认定方向错了?他说,这时靠的就是自上而下的判断:事情必须是这样的,类似的东西一定行得通,所以得继续。

把这期的线索串起来,苏茨克维的立场相当一致。他认为现有路线的问题不在规模不够,而在模型像刷题的学生,泛化太差。人类在数学、编程上的学习速度,证明更好的学习原理存在。这样的原理找到后,超级智能会是一个边部署边学习的少年,而不是一次交付的成品。他对安全的想法也沿着同一条线:人想象不出强大的 AI,就得让人看见;对齐难,本身就是泛化难。

没有回答的问题也很清楚。他最关键的技术想法一个字没讲。5 到 20 年的区间很宽。在"先到者会不会通吃"这一点上,他承认德瓦克什的论证成立,自己只有直觉。SSI 这次尝试对不对,要等它拿出东西来才知道。按他自己的逻辑,到那时世界才会真正"看见"。

其他值得记下的观点

  • 开场时德瓦克什说,即便到了奇点,普通人也可能感觉不到多大变化。苏茨克维不同意。他说现在人们只在新闻里看到某公司宣布了一个难以理解的投资额,所以觉得抽象;但 AI 会扩散到整个经济,背后有很强的经济力量推动,影响会被强烈感受到。
  • 苏茨克维认为,即便某家公司先做出了全新的东西,别人也不会因此知道怎么做,但会知道"不一样的东西是可能的"。这本身就是信息,大家会去琢磨它是怎么做到的。他也认为,各家的技术路线最终大概也会趋同。
  • 他说每一次 AI 能力提升,都会改变做事的方式,这很重要,但他说不清具体会是哪些改变。
  • 德瓦克什问,服务器里放一百万个伊尔亚会怎样。苏茨克维认为收益会递减,因为需要的是思考方式不同的人;如果是他本人的完全复制,能带来多少增量他不确定。
  • 为什么不同公司的大模型那么像?苏茨克维认为原因在预训练:大家用的数据几乎相同,所以预训练模型几乎一样;差异从 RL 和后训练开始出现,因为不同团队设计了不同的 RL 训练。德瓦克什补充说,单纯调高采样温度只会得到胡言乱语。
  • 关于自我博弈(self-play,让模型和自己的副本对抗来学习),苏茨克维说,吸引他的是它能只用算力、不用数据造出模型;如果数据是终极瓶颈,这就很有意思。但以往那种互相竞争的自我博弈太窄,只适合谈判、冲突、某些社交技能和策略。他认为它以别的形式找到了位置,比如辩论、证明者-验证者,以及被激励去找错的 LLM 裁判。更一般地说,智能体之间的竞争会激励差异化:看到别人已经走了某条路,自己就会换一条。这可能是让 AI 智能体产生多样性的一种办法。

对 builder 有什么用

  1. 给你的模型或 agent 留一套"不刷的题":从真实用户任务里抽一批样本单独存放,永远不拿来调 prompt、选模型或做微调。每次因为某个 benchmark 做了改动,都在这套题上复测一次。这对应苏茨克维说的"研究员在 reward hacking":照着测评优化,最容易被骗的是你自己。
  2. 让长任务 agent 学会中途止损:在关键步骤后加一次自评,让它判断当前方向是否值得继续,不值得就回退,而不是一路跑到最后才看结果;再把这些放弃点记录下来,作为改进的信号。这是价值函数思路的应用版:不等终点打分,提前知道走错了。
  3. 申请算力或预算之前,先写清楚要验证的是哪个想法、最少多大规模就能说服自己。苏茨克维的例子是 AlexNet 用两块 GPU、Transformer 的实验不超过 64 块:证明一个新想法往往不需要最大规模,要做最好的系统时,算力多才更有帮助。
  4. 把 AI 产品上线当成"新员工入职"来设计:预留试错期,把用户的纠正和反馈系统地收集起来,写回记忆或训练数据,并尽早交给真实用户使用。这对应他的两个判断:超级智能是会学习的少年,部署本身就是学习过程;人只有亲眼看见,才会理解 AI 能做什么。
  5. 开始一个方向之前,写下你的"自上而下的信念":为什么这件事必须行得通,以及实验失败时,你用什么标准判断"是 bug 还是方向错了"。苏茨克维的提醒是,只信数据的人,可能会在一个 bug 面前放弃正确的方向。

原话

“So it's back to the age of research again, just with big computers.”

所以我们又回到了研究时代,只不过手里有了大计算机。

— Ilya Sutskever · 00:19:01
“The thing which I think is the most fundamental is that these models somehow just generalize dramatically worse than people. And it's super obvious.”

我认为最根本的问题是:这些模型的泛化能力,不知怎么就是比人差得多。这一点非常明显。

— Ilya Sutskever · 00:24:36
“This sounds like such lack of faith in deep learning.”

这听起来太缺乏对深度学习的信心了。

— Ilya Sutskever · 00:16:13
“Scaling sucked out all the air in the room. We got to the point where we are in a world where there are more companies than ideas by quite a bit.”

scaling 把房间里的空气抽光了。我们走到了这样一个世界:公司的数量比想法多得多。

— Ilya Sutskever · 00:36:39
“If ideas are so cheap, how come no one's having any ideas?”

既然想法这么便宜,怎么没人有想法?

— Ilya Sutskever · 00:36:39
“We are squarely an age of research company.”

我们是一家彻头彻尾的研究时代公司。

— Ilya Sutskever · 01:18:34
“You will realize that the human being is not an AGI.”

你会意识到,人类自己就不是 AGI。

— Ilya Sutskever · 00:46:45
“The whole problem is the power.”

整个问题就在于力量。

— Ilya Sutskever · 00:56:11
“You got to be showing the thing.”

你得把东西展示出来。

— Ilya Sutskever · 00:56:11
“I think what people are doing right now will go some distance and then peter out.”

我认为大家现在做的事会走一段路,然后后继乏力。

— Ilya Sutskever · 01:04:09
“In theory, there is no difference between theory and practice. In practice there is, and I think that's gonna be one of those.”

理论上,理论和实践没有区别;实践中有。我认为这会是其中一例。

— Ilya Sutskever · 01:28:18
“The top-down belief is the thing that sustains you when the experiments contradict you.”

当实验跟你作对时,撑住你的就是这个自上而下的信念。

— Ilya Sutskever · 01:33:11

读懂这一期需要的概念

预训练Pre-training
用海量文本让模型学习预测下一个词。苏茨克维认为它的优势是数据极多、且不用挑选,但模型如何依赖这些数据很难推理。
强化学习Reinforcement learning (RL)
给模型布置任务,让它自己尝试,按结果打分,再用分数调整模型。和预训练不同,RL 要人决定练什么,这就给“照着测评出题”留下了空间。
RL 环境RL environment
为强化学习准备的任务场景和打分规则,相当于给模型的练习场和考卷。苏茨克维说各家都有团队专门造这类环境。
奖励投机Reward hacking
模型钻奖励规则的空子,分数很高却没学会真正想要的能力。德瓦克什把它引申到人身上:太盯测评的研究员才是真正在 reward hacking。
价值函数Value function
在任务进行中估计“当前处境好不好”的函数,让模型不必等到最终打分就知道走错了,像下棋丢子立刻知道犯了错。苏茨克维认为人的情绪可能扮演了类似角色。
Rollout
让模型把一个任务完整跑一遍、产生一条轨迹。长任务的 rollout 很耗算力,每次带来的学习信号却很少。
规模定律Scaling laws
数据、算力、参数按比例加大,模型效果就能可预测地变好的经验规律。它让投入算力成了一种低风险的投资。
泛化Generalization
把学过的东西推广到没见过的情况。苏茨克维认为这是当前模型和人类之间最根本的差距。
样本效率Sample efficiency
学会一项能力需要多少数据。人学开车只要十来个小时,模型往往需要多得多的样本。
持续学习Continual learning
模型部署之后还能从经验中不断学习,而不是训练完就定型。苏茨克维设想的超级智能就是一个持续学习的“15 岁少年”。
自我博弈Self-play
让模型和自己的副本对抗来学习,可以只用算力、不用数据。苏茨克维认为传统形式太窄,如今以辩论、证明者-验证者、LLM 裁判等形式存在。

关键转折

  1. 2025 年,SSI 以 320 亿美元估值融资期间

    苏茨克维拒绝了 Meta 对 SSI 的收购提议。

    他选择继续独立研究自己认为有前途的技术路线。代价是联合创始人兼 CEO 在某种意义上接受了 Meta 的邀约并离开,外界因此质疑 SSI 的进展;他在访谈中称此人是 SSI 唯一去 Meta 的人。

  2. 访谈前的一年里

    苏茨克维开始更看重提前、渐进地部署 AI,并表示这“可能”会改变 SSI“直奔超级智能”的计划。

    他认为人们想象不出强大的 AI,只有亲眼看见才会改变行为;时间线可能很长也是一个理由。代价是要放弃部分与市场竞争隔离的好处,卷入“老鼠赛跑”里的艰难取舍。

  3. SSI 目前只做研究,暂不回答怎么赚钱。

    他认为不受日常市场竞争影响有很大价值,赚钱的答案“会自己显现”。代价是没有产品收入,研究资源完全依赖融资。

信息边界

  • 关于 SSI 的说法都来自苏茨克维本人,没有第三方印证:“过去一年进展相当不错”“我们的研究算力足以说服自己和别人”、联合创始人去 Meta 的经过等。他没有透露任何技术细节,读者无法检验。
  • 几条行业判断是他转述的推特说法,而非一手信息:Gemini 似乎找到了从预训练里挤出更多东西的办法,各家花在 RL 上的算力已超过预训练。德瓦克什引用的 OpenAI 每年五六十亿美元实验支出也只是公开估算。
  • 他最核心的论点(泛化、类人学习原理)恰恰是他声明不便公开讨论的部分;5 到 20 年的预测区间很宽。在“先到者是否通吃”上,他承认德瓦克什的论证成立,自己的反对只基于直觉。
  • 字幕是 Substack 官方转写,但只标了匿名说话人,且有几处问答被放错段落,需按上下文判断;德瓦克什的三段赞助口播(Gemini 3、Labelbox、Sardine)未计入精读内容。

本文根据公开访谈的字幕整理改写,原话为节选。完整内容请看原视频。 审校于 2026-10-22