全部精读

CastMind Reads

伊尔亚·苏茨克维(OpenAI 首席科学家):为什么下一个词预测可能超越人类智能

苏茨克维在 ChatGPT 爆发后谈 AI 的走向:预测即理解、可靠性才是经济价值的关键、对齐要多角度组合、研究的主活是理解

Dwarkesh Podcast · 2023-03-27 · 00:47:41 · 20 分钟读完看原视频

2023 年 3 月,ChatGPT 上线不过几个月,OpenAI 联合创始人兼首席科学家伊尔亚·苏茨克维接受了 Dwarkesh Patel 的访谈。他解释了为什么"预测下一个词"不只是模仿人类,为什么 AI 经济价值最大的变数是可靠性,也谈了对齐、机器人、硬件、模型商品化和他做研究的方法。这期访谈节奏很快,很多回答只有一两句,但几乎每句都是一个可以拿出来检验的判断。三年后回头读,正好对照后来的发展。

这一期的核心判断

  1. 01苏茨克维认为下一个词预测可以超越人类:要把下一个词预测得足够好,模型必须理解产生这些文字的底层现实,包括人的想法和动机,因此能外推出一个并不存在的、更有智慧的人会怎么做。
  2. 02他认为如果 AI 到 2030 年经济价值令人失望,最可能的原因是可靠性:人仍要复查每个答案,会极大压制价值;在他看来不可靠本身就意味着技术不成熟。
  3. 03他认为数据和硬件眼下都不是瓶颈,GPU 和 TPU 本质相同,硬件只看每 flop 成本;真正缺数据的是机器人,要靠数万到数十万台机器人的渐进投入才能走通。
  4. 04他认为对齐不会有一个数学定义,要靠对抗测试、用网络解读网络等多种方法组合,并让对齐进展快过能力进展;对比人更聪明、会隐藏意图的模型,难度不可低估。
  5. 05他认为研究的主要工作是理解而不是想新点子,深度学习的突破事后看都显而易见,且由晶体管进步驱动、几乎必然发生,即使没有他和辛顿也最多推迟几年。

访谈开场,主持人 Dwarkesh Patel 就问了一个不许谦虚的问题:很少有科学家能在职业生涯里做出多次定义领域的突破,你凭什么做到了?

苏茨克维的回答几乎是在拒绝回答:"我非常努力,把能给的都给了,到目前为止这样是管用的。我觉得就这么多。"

这句话听起来像客套。但读完整期会发现,它和他对研究的整套看法是一致的:他不相信灵光一现,相信长时间地盯着一个复杂系统,直到弄懂它。访谈最后,主持人又绕回这个问题,他补了一句限定:坚持是必要条件,不是充分条件,"你还得有看待事物的正确方式"。

这期节目的标题来自其中一段交锋:只会模仿人类的模型,能不能超过人类?

下一个词预测可以超越人类

主持人提出了当时很常见的质疑:语言模型的训练目标是预测人类写下的下一个词(next-token prediction),那它最多只能学到人类的水平,怎么可能超过?

苏茨克维直接表示不同意。他承认表面上看确实如此:如果你只是学着预测人会做什么,好像就只能复制人。但他给了一个反驳。如果基础模型足够聪明,你可以问它:一个拥有极高洞察力、智慧和能力的人会怎么做?这样的人也许并不存在,但模型很有可能推断出他会怎么行动。

主持人追问:模型从哪里获得这种关于"超人"的洞察?

苏茨克维的回答是:就从普通人的数据里。他的推理链有这么几步:

  • 把下一个词预测得足够好,意味着你要理解产生这个词的底层现实。
  • 这当然是统计,但要把这些统计压缩下来,你必须理解世界的什么性质造出了这些统计。
  • 落到人身上,就是理解人有想法、有情感、有观念,会以某种方式做事。这些都可以从下一个词预测中推导出来。
  • 一旦理解到这个程度,模型就可以回答"一个具有这种和那种特质的人会怎么做",哪怕这个人不存在。

把下一个词预测好,意味着你理解了产生这个词的底层现实。这不是统计。它确实是统计,但统计又是什么?

Predicting the next token well means that you understand the underlying reality that led to the creation of that token. It's not statistics. Like it is statistics but what is statistics?

他自己加了限定:这种外推"不是无限的",但能达到"相当不错的程度"。他的核心主张是:预测的目标虽然是模仿,但要模仿得足够好,就得建立对世界的模型,而这个模型是可以被拿来外推的。

同一段里还有两个相关判断。

一是强化学习的数据已经主要来自 AI。主持人问,什么时候用于强化学习的数据会主要由 AI 而不是人类产生。苏茨克维说已经是了。以 ChatGPT 用的 RLHF(基于人类反馈的强化学习)为例:人类的反馈只用来训练一个奖励函数,可以理解为一个"打分员"模型;之后由这个打分员和主模型自动交互,训练过程中产生的数据全是 AI 生成的。他设想的方向是人类老师做 1% 的工作、AI 做 99%,但他明确说不希望是 100% AI,而是"人机协作,去教下一代机器"。

二是多步推理。主持人说自己用下来觉得模型多步推理很差。苏茨克维不完全同意:模型不擅长的是"在脑子里"做多步推理;允许它出声思考,把中间步骤写出来,它其实相当好。他预计更好的基础模型和专门训练都会让这一点显著改进。这个判断比后来以"思考"为卖点的推理模型早了一年多,这是我的对照,不是他在访谈里说的。

至于下一个范式,他的说法很克制:当前范式"会走得非常非常远",不要低估它;但它很可能不完全是 AGI 的最终形态。下一个范式是什么,他不愿说具体,只说大概会整合过去出现过的各种想法。

让 AI 经济价值落空的唯一理由会是可靠性

主持人问了一个创业者都关心的问题:AI 已经很有经济价值、但还没到 AGI 的这段窗口有多长?如果 AGI 到来,世界上可能只剩 OpenAI 一家公司,那些基于 OpenAI 模型做生意的创业公司还有多少时间?

苏茨克维说这就等于问 AGI 还有多久,他不愿给数字。原因之一是:做这项技术的乐观者往往低估到达目标所需的时间。他校准自己的办法是想自动驾驶。看特斯拉的自动驾驶,它好像什么都会做,但离真正可靠还有很长的路。我们的模型可能也处在类似的位置:看起来什么都能做,但要把问题全部理顺,让它可靠、稳健、行为得当,还需要更多工作。

关于窗口本身,他认为会是"相当长的好几年"。他的理由是 AI 的价值在 AGI 之前会逐年指数增长。事后回看,人们可能觉得只有一两年,因为最后那两年比之前所有年份加起来都大。

主持人接着让他估计 2030 年 AI 占 GDP 的比例。他说自己的误差范围是对数尺度的,既能想象一个巨大的比例,也能想象一个令人失望的小比例。

主持人顺势设了一个反事实:假设到 2030 年,大语言模型没创造多少经济价值,你现在最好的解释是什么?

苏茨克维先声明他真的不认为这很可能,然后给出一个答案:可靠性。如果你真的需要它们可靠,而它们最终不够可靠,或者可靠性比预想的更难,那就是原因。

你还是得把答案过一遍,把所有东西都复查一遍。这会极大压制这些系统能产生的经济价值。

That you still have to look over the answers and double-check everything. That just really puts a damper on the economic value that can be produced by those systems.

主持人想把话收成"技术会成熟,只是可靠性的问题"。苏茨克维纠正了这个区分:"在某种意义上,不可靠就意味着技术不成熟。"

可靠性在访谈后段又出现了一次。主持人问他期待哪些涌现能力,他说当然会有意想不到的新能力,但他最想看到的是可靠性和可控性:可靠性是你能信任模型的输出,可控性是你能控制它。他说如果这两样能作为涌现属性出现,"会非常酷"。他用的是希望的口吻,不是预测。

数据和硬件都不是眼下的瓶颈,机器人才是真缺数据

关于训练数据会不会用完,苏茨克维的判断分两层:总有一天会用完,到那时必须有不靠更多数据也能提升能力、校准行为的训练方法;但眼下数据状况"仍然相当好",还有很多可用。

什么数据最有价值?他的回答很笼统:谈论更聪明的事情、更有意思的 token。主持人列的 Reddit、推特、书籍都有价值。纯文本还能走很远,多模态是一个很有前景的方向。至于哪里还有没被抓取的数据,他说不能代表 OpenAI 回答,每家答案不同。

算法改进能带来几个数量级的提升?他说肯定有一些。主持人问"一些"是多还是少,他答:"只有一个办法能知道。"

硬件方面,他的回答出人意料地干脆:当前硬件不是限制,"就不是"。他会希望硬件更便宜,或者内存带宽更高,但总体而言硬件不是问题,想试的东西都能跑起来。

真正缺数据的是机器人。主持人问 OpenAI 当年放弃机器人方向是否正确,苏茨克维说是正确的。他的推理是:

  • 当时机器人数据太少。
  • 想做机器人,你就得变成一家机器人公司,有一大群人造机器人、维护机器人。
  • 就算有 100 台机器人,已经是很大的运营,拿到的数据也不多。
  • 在一个进步主要来自算力加数据的世界里,机器人没有通往数据的路。

主持人问现在有没有路。他说现在可以开辟出一条路,但前提是彻底投入:造几千、几万、几十万台机器人,从它们身上收集数据,找到一条渐进的路径。机器人做稍微有用一点的事,数据拿去训练模型,模型让机器人再有用一点,再造更多机器人,收集更多数据。

你得真的爱机器人,真的愿意去解决和它们打交道的所有物理和后勤问题。这跟软件完全不是一回事。

But you need to really love robots and need to be really willing to solve all the physical and logistical problems of dealing with them. It's not the same as software at all.

他说相信已经有公司在这样做,只要动力足够,今天的机器人是能取得进展的。

对齐不会有一个数学定义

主持人问会不会有一个对齐(alignment,让 AI 的行为符合人类意图)的数学定义。苏茨克维认为不太可能。我们会得到多个定义,从不同角度看对齐,靠它们的组合获得想要的保证:看模型在各种测试里的行为,看它在各种对抗性压力下的表现,看神经网络内部怎么运作。

发布模型前要有多大把握,95% 还是 100%?他说取决于模型有多强,越强需要越有把握。主持人追问那接近 AGI 的模型呢,AGI 的线在哪里?他指出 AGI 是个含糊的词:"一个普通的大学本科生就是一个 AGI。"线画在哪里,决定了你需要多大的把握。

问到最有希望的对齐路线,他还是说组合。他点名了几种:

  • 花大量算力做对抗,找出你想教的行为和它实际表现之间的任何偏差。
  • 用另一个神经网络去看这个神经网络的内部,理解它怎么运作。
  • 让对齐程度的提升速度快过模型能力的提升速度。

每一种这样的方法都会降低失准的概率。

Every approach like this reduces the probability of misalignment.

主持人问,今天理解模型的方法能不能用到真正强大的模型上。他说没有保证。我们对模型的理解"仍然相当初级"。他预期最终真正管用的,是让一个被充分理解的小网络去研究、验证一个没被理解的大网络。

关于对齐有多难,他的判断带着明确的分界:在当前的能力水平上,我们有一套不错的对齐思路;但对于比我们更聪明、能够隐瞒自己意图的模型,不要低估对齐的难度。他顺带给学术界指了方向:常有学术研究者问他在哪里能做出贡献,他认为对齐是学术界能做出非常有意义贡献的地方。

研究的主活是理解,突破事后看都显而易见

这一章是访谈里最接近方法论的部分。主持人问,他的工作时间有多少花在调初始化、调超参数、保证训练顺利,有多少花在想全新的点子上。

苏茨克维说想新点子只占适度的一部分。更重要的是理解结果、理解已有的想法、理解到底发生了什么。神经网络是非常复杂的系统,你跑了它,得到一些难以理解的行为。大量时间花在理解结果、弄清楚下一个实验该跑什么、什么可能导致了意料之外的结果。

他说自己不太喜欢"想新点子"这个框架,不是因为它错,而是主要活动其实是理解。主持人问两者有什么区别,他解释:想新点子是"如果这样做会怎样";理解是"这整个东西是什么?底下真正的现象是什么?我们为什么这样做而不是那样做?"

理解这部分才是真正发生事情的地方。

But the understanding part is where the real action takes place.

主持人问他的成名作 ImageNet 那篇工作是新点子还是理解。他答:"绝对是理解。是对非常老的东西的新理解。"

这个看法延伸到他对"突破"的定义。主持人问,通往超人 AI 是需要几个像 Transformer 那样重要的突破,还是书里已经有了所需的洞见,只需要实现和组合?他说这两者没有那么大的区别。过去的一种进步方式是:我们发现某个东西一直具有某种好的性质,只是之前没意识到。这算突破吗?算。算书里已有东西的实现吗?也算。

他认为这类进展很可能还会有几个,但事后不会觉得是突破,大家都会说"当然,显然能行"。Transformer 之所以被单独拿出来当突破,是因为它对几乎所有人都不显然。他举了深度学习最根本的进展:一个用反向传播训练的大神经网络能做很多事。

新意在哪里?不在神经网络,也不在反向传播。但它绝对是一个巨大的概念突破,因为很长时间里人们就是看不到这一点。

Where's the novelty? Not in the neural network. It's not in the backpropagation. But it was most definitely a giant conceptual breakthrough because for the longest time, people just didn't see that.

他对导师杰弗里·辛顿新提出的 forward-forward 算法的评价也是这个思路。这个算法尝试不用反向传播训练神经网络。反向传播是让误差信号从输出层倒着传回去、逐层调整参数的算法。苏茨克维说,据他所知神经科学家很确定大脑没法实现反向传播,因为突触里的信号只朝一个方向走。所以如果你的动机是理解大脑怎么学习,forward-forward 很有意思。但如果只是想造一个好系统,没有理由不用反向传播,"它是唯一的算法"。

主持人问他会在什么时候不再把人类当作智能的参照。他说受人类和大脑启发是好的,但这是一门手艺:很容易抓住人类或大脑身上非本质的特性。很多受大脑启发的研究过于具体,纠结该遵循哪个认知科学模型。可人工神经元这个想法本身也是受大脑启发,而且极其有成效。关键是分辨哪些人类行为是本质的,证明了智能可行;哪些只是更基础的东西涌现出来的现象,我们只需把自己的基础打好。他的结论是:可以也应该受人类智能启发,但要小心。

硬件的差别最终只剩每 flop 成本

主持人问,谷歌有自研的 TPU 芯片,有 Gmail 等用户数据,这会不会让它训练出比 OpenAI 更大更好的模型。

苏茨克维说 TPU 刚出来时他很震撼,但那是因为他当时不太懂硬件。后来发现 TPU 和 GPU 几乎是一回事:GPU 芯片大一点,TPU 小一点、也许便宜一点;但 GPU 产量大得多,所以最终可能还是 GPU 便宜。

他的解释抓住了一个根本约束。两种芯片都是一个大处理器加一大块内存,中间有个瓶颈。从内存搬一个浮点数到处理器的时间里,处理器能做几百次浮点运算。所以两者都必须做批处理,把数据攒成一批再算,才能不让处理器闲着。这有点像一个切菜很快的厨师,但传菜窗口很窄,只能一次传一大盘。

在他看来,硬件唯一重要的就是每次浮点运算的成本和整体系统成本。主持人问那差别真的不大吗,他又加了一个限定:他其实不知道 TPU 的成本,只是怀疑 TPU 可能更贵,因为数量少。数据那一半问题,他没有回答。

抵抗商品化的办法只有继续变好

模型越来越大,推理(模型每次回答用户的计算)会不会贵到用不起?苏茨克维换了个角度:更好的模型推理确实更贵,但是否"贵到用不起"取决于它有多有用。他举了律师的例子:你有个案子要咨询,很乐意付每小时 400 美元。如果神经网络能给出真正可靠的法律建议,你也会乐意为它付 400 美元,推理成本突然就不是问题了。

问题在于:神经网络能不能以这个成本给出足够好的答案?

The question is, can a neural net produce an answer good enough at this cost?

主持人问会不会按模型分级定价。他说已经是这样了:OpenAI 的 API 提供不同大小的模型,客户按用途选。小模型微调后够用的就用小模型,想做更复杂、更有意思的事就用最大的。

接着是商品化的交锋。主持人问,怎么防止模型变成大宗商品,各家互相压价,直到价格只剩 GPU 成本?苏茨克维承认毫无疑问有一股力量在推动这件事,回应只有一个:持续进步,让模型更好、更可靠、更值得信任。

主持人没放过他:假设到 2025 年有人按成本价提供 2024 年的模型,而且还挺好用,为什么要用 2025 年的新模型?苏茨克维给了三个答案,并先让步说"对某些用例,这可能成立":

  • 2025 年的新模型会撑起更有意思的用例。
  • 推理成本本身是竞争点。同一个模型,不同公司的服务成本不同,可以靠研究降低成本。
  • 专业化。有些公司可能专攻某个领域,在那里比别人强,这在一定程度上是对商品化的回应。

他还预测了各家研究方向的走势:收敛、发散、再收敛。近期工作趋同;长期工作会分化;等长期工作结出果实,大家又会收敛过去。他补充说,现在发表的论文少了,一个有前景的方向被别人重新发现会花更长时间。

关于 OpenAI 预计 2024 年营收 10 亿美元这个数字是怎么来的,主持人说的是公开报道中的预测。苏茨克维说他们从两年前 GPT-3 时代起就有 API 产品,看着它增长,也看到了 DALL-E 和 ChatGPT 的反响,这些数据让他们能做出相对合理的外推。没有数据凭空估,误差范围会是"每个方向 100 倍"。主持人追问,大多数指数增长到了大规模都不会一直指数下去,你们怎么判断?苏茨克维反问了一句:"你会押注 AI 不行吗?"这是全场最短的一次回击,他没有正面给出方法。

深度学习的到来几乎是必然的

主持人问:数据、Transformer、GPU 恰好在同一时间齐备,这不奇怪吗?

苏茨克维说奇怪,但在某个层面上没那么奇怪。驱动力是同一个:晶体管越来越小。计算机变得更好更便宜,人人都有个人电脑;有了电脑就想联网,于是有了互联网;有了互联网,数据就大量出现。同时,晶体管变小也让 GPU 在进步,人们在找事情给它做,游戏成了一件事。后来英伟达想把游戏 GPU 变成通用计算设备,也许有人会用得上,结果发现它很适合神经网络。

他承认存在反事实:如果没有游戏,GPU 可能早五年或晚五年到来,事情就不会像现在这样准备就绪。但他的总体图景是:

所有这些维度上的进步高度交织在一起。这不是巧合。你没法挑选在哪些维度上进步。

All this progress in all these dimensions is very intertwined. It's not a coincidence. You don't get to pick and choose in which dimensions things improve.

主持人接着问:如果他、辛顿和其他几位先驱从没出生,深度学习革命会推迟多久?苏茨克维说也许推迟一年左右。主持人很意外。他解释了理由:GPU 会继续进步,训练神经网络会越来越容易,需要的工程量越来越少,不用那么费力优化代码。ImageNet 数据集刚出来时巨大且很难用;再等几年,它会变得很容易下载,人们可以随手折腾。他的最终估计是"最多适度的几年",并加了一句"你没法重跑世界"。

这和开场他对自己成功的回答形成呼应:他不把突破归功于天才,而是归功于条件成熟加上足够努力地去理解。

AGI 之后,世界不该由 AGI 来安排

主持人问,他每周工作 80 小时追求 AGI,AGI 来了之后他做什么?会满足于住在"AI 养老院"里吗?

苏茨克维说人在 AGI 之后去哪里找意义,是个很难的问题,但 AI 可以帮忙。他设想人们和 AGI 交流后会变得更开明,看世界看得更准,内心变得更好,"想象一下和历史上最好的冥想老师交谈"。但他也认为世界变化太大,人们会很难准确理解正在发生什么、怎样真正做出贡献。所以有些人会选择"部分成为 AI",扩展自己的心智,去解决社会到时面临的最难问题。主持人问他自己会不会,他说:"非常诱人。"

主持人再问,公元 3000 年地球上还会有肉身的人类吗,你们有没有具体想过希望世界是什么样?他反驳了问题本身:这个问题暗示我们可以决定世界的样子,他认为这个图景不对。变化是唯一不变的,AGI 建成后世界也不会静止。没人知道 3000 年什么样。他只表达了一个希望:会有很多人类的后代过着幸福充实的生活,自由地做自己想做的事,自己解决自己的问题。

我更想要一个这样的世界:人们仍然可以自由地犯自己的错、承担后果,在道德上逐步演化、靠自己往前走,而 AGI 更像是一张基础的安全网。

I'd much rather have a world where people are still free to make their own mistakes and suffer their consequences and gradually evolve morally and progress forward on their own, with the AGI providing more like a base safety net.

他明确说了自己觉得"很没意思"的那种世界:我们造出强大的工具,然后政府说"AGI 说社会应该这样运行,那我们就这样运行"。

这期访谈留下的问题,大多集中在他自己反复强调的可靠性上。他说能力的天花板远没到,硬件和数据暂时都不卡脖子,真正决定 AI 能创造多少价值的,是人还要不要复查每个答案。他对可靠性能否作为涌现属性出现,用的是"希望"而不是"预测"。对齐也一样:当前能力下有办法,面对比人更聪明、会隐藏意图的模型,他只给出了方向,没给出答案。

其他值得记下的观点

  • 关于滥用:主持人问为什么没有更多外国政府用 GPT 做宣传或诈骗。苏茨克维说可能还没大规模做,也可能已经在发生,比如拿开源模型来用;他认为大规模追踪是可能的,但需要专门的行动。
  • 关于模型权重安全:他说不能排除间谍或攻击窃取权重的可能,这是所有做这件事的人都会面临的问题;被问到有多少人能 SSH 到存权重的机器,他没给数字,只说安全团队做得很好,他不担心泄露。
  • 关于台湾风险:他认为台湾一旦出事会是重大挫折,几年内没人能拿到更多算力。他先说英特尔有落后几代的晶圆厂、能造类似四年前的 GPU,随即自己更正说不确定英特尔这点是否准确,但台湾以外确实有不那么先进的晶圆厂,用它们仍能走很远,只是成本和时间上的挫折。
  • 关于 AI 做 AI 研究:他设想未来你可以问 ChatGPT 的后代"我在想这个问题,能建议一些值得试的想法吗",并真的得到好想法;研究的瓶颈是好想法和好洞察,神经网络能在这里帮忙。
  • 关于十亿美元的对齐大奖:他说自己正好想过这个问题,还没想出具体标准,倾向于等两到五年后回头看,追认那个真正成为主要成果的工作。
  • 关于学术界:他认为学术界完全可能产生关于模型能力的重要洞见,没有什么根本障碍,只是实际发生得不多,也许是因为在公司内部更容易看清需要做什么。
  • 关于比特世界与原子世界:他不认为两者有清晰界限。神经网络建议你重新布置公寓,你照做了,它就影响了原子世界。
  • 关于缩放定律:缩放定律描述的是下一个词预测准确率(取对数)随规模的变化,它和推理能力之间有联系,但联系很复杂;可能会找到每单位投入带来更多推理能力的其他办法。
  • 关于预测能力:他认为可以对具体能力做一些预测,但不简单,也做不到很细;提升这种预测能力很重要,是有价值的研究方向。
  • 关于雇人生产数据:他认为依靠人来教模型做事,尤其是让模型行为得当、不说假话,是非常明智的做法。
  • 关于研究方向的快问快答:检索式 Transformer(把数据存在模型外部、按需检索)"看起来有前景";端到端训练和把模块连接起来"都很有前景"。
  • 关于 2015 年的预期:他说现状大致是他 2015 年预期的样子。当时他只是想对深度学习下最大的赌注,不知道具体会怎么发展;他承认 2016、2017 年和人打过赌说会走得很远,但"可能内心只信了 50%"。
  • 关于 OpenAI 内部:被问到有什么他相信、但大多数 OpenAI 同事都会觉得离谱的事,他说内部沟通很多,大家在这些问题上看法一致。
  • 关于 Azure:他说和微软的合作非常好,微软把 Azure 做到了很适合机器学习的程度。

对 builder 有什么用

  • 对需要多步推理的任务,做一组对比:同一批样本,一组让模型直接给答案,一组要求先写出中间步骤再给答案。对应苏茨克维"模型不擅长在脑子里推理,出声思考就好很多"的判断。
  • 给你的 AI 功能加一个"免复查率"指标:统计有多少输出用户不需要再检查就直接用了。他认为人还得复查每个答案,是压低 AI 经济价值的头号因素,这个指标比准确率更贴近用户愿意付多少钱。
  • 按任务价值而不是 token 成本选模型。把产品里的请求分成两类:小模型微调后够用的,和值得用最大模型的高价值请求。他的律师例子说明,只要答案值 400 美元,推理贵一点并不构成问题。
  • 评估模型行为时不要只看一个分数。至少同时跑三类检查:常规测试集、刻意构造的对抗输入、对失败案例的逐条归因。对应他"对齐没有单一定义,要多个角度组合"的思路。
  • 下次实验出现意外结果,先写下三个可能的原因,再决定下一个实验,而不是马上换新点子。他说研究的主要活动是理解,ImageNet 那篇工作是"对非常老的东西的新理解"。

原话

“Predicting the next token well means that you understand the underlying reality that led to the creation of that token. It's not statistics. Like it is statistics but what is statistics?”

把下一个词预测好,意味着你理解了产生这个词的底层现实。这不是统计。它确实是统计,但统计又是什么?

— Ilya Sutskever
“That you still have to look over the answers and double-check everything. That just really puts a damper on the economic value that can be produced by those systems.”

你还是得把答案过一遍,把所有东西都复查一遍。这会极大压制这些系统能产生的经济价值。

— Ilya Sutskever
“Well, in some sense, not reliable means not technologically mature.”

在某种意义上,不可靠就意味着技术不成熟。

— Ilya Sutskever
“But you need to really love robots and need to be really willing to solve all the physical and logistical problems of dealing with them. It's not the same as software at all.”

你得真的爱机器人,真的愿意去解决和它们打交道的所有物理和后勤问题。这跟软件完全不是一回事。

— Ilya Sutskever
“Every approach like this reduces the probability of misalignment.”

每一种这样的方法都会降低失准的概率。

— Ilya Sutskever
“But the understanding part is where the real action takes place.”

理解这部分才是真正发生事情的地方。

— Ilya Sutskever
“Where's the novelty? Not in the neural network. It's not in the backpropagation. But it was most definitely a giant conceptual breakthrough because for the longest time, people just didn't see that.”

新意在哪里?不在神经网络,也不在反向传播。但它绝对是一个巨大的概念突破,因为很长时间里人们就是看不到这一点。

— Ilya Sutskever
“The question is, can a neural net produce an answer good enough at this cost?”

问题在于:神经网络能不能以这个成本给出足够好的答案?

— Ilya Sutskever
“All this progress in all these dimensions is very intertwined. It's not a coincidence. You don't get to pick and choose in which dimensions things improve.”

所有这些维度上的进步高度交织在一起。这不是巧合。你没法挑选在哪些维度上进步。

— Ilya Sutskever
“I'd much rather have a world where people are still free to make their own mistakes and suffer their consequences and gradually evolve morally and progress forward on their own, with the AGI providing more like a base safety net.”

我更想要一个这样的世界:人们仍然可以自由地犯自己的错、承担后果,在道德上逐步演化、靠自己往前走,而 AGI 更像是一张基础的安全网。

— Ilya Sutskever

读懂这一期需要的概念

下一个词预测Next-token prediction
语言模型的基本训练目标:给定前文,预测下一个词(token)。苏茨克维认为要预测得足够好,模型必须理解产生文字的世界。
基于人类反馈的强化学习RLHF (Reinforcement Learning from Human Feedback)
人类先对模型输出打分,用这些打分训练一个奖励模型(打分员),再由奖励模型自动给主模型打分来训练它。人类只参与训练打分员这一步。
奖励函数 / 奖励模型Reward function / reward model
强化学习里给模型行为打分的部分。在 RLHF 中它由人类反馈训练而成,之后替代人类自动评判模型输出。
对齐Alignment
让 AI 的行为符合人类的意图和价值。苏茨克维认为它没有单一数学定义,只能多角度组合检验。
反向传播Backpropagation
训练神经网络的标准算法:把输出误差从后往前逐层传回,据此调整每层参数。
前向-前向算法Forward-forward algorithm
辛顿提出的一种不用反向传播训练神经网络的方法,动机之一是大脑似乎无法实现反向传播。
内存带宽瓶颈Memory bandwidth bottleneck
从内存搬一个数到处理器的时间里,处理器能算几百次,所以 GPU 和 TPU 都必须批量处理数据。像切菜很快但传菜窗口很窄的厨房。
缩放定律Scaling lAnthropic
描述模型规模、数据和算力增加时,下一个词预测误差如何变化的经验规律。苏茨克维指出它和推理能力的联系很复杂。

关键转折

  1. OpenAI 早年决定停止机器人方向的研究。

    苏茨克维说当时机器人数据太少,做机器人就得变成机器人公司,即使运营 100 台机器人也拿不到多少数据;在进步主要来自算力加数据的世界里,机器人没有通往数据的路。他认为这个决定是对的,现在要重启则需要数万到数十万台机器人的投入。

  2. 2015 年前后

    苏茨克维决定对深度学习下尽可能大的赌注。

    他说当时并不知道具体怎么走、七年后能走多远,只是不想押注深度学习会失败;他也承认当时那些激进预测,内心可能只信了一半。

信息边界

  • 这是 2023 年初的访谈,苏茨克维当时是 OpenAI 首席科学家,2024 年离开并创立 Safe Superintelligence。文中关于数据"仍然充足"、硬件"不是限制"、OpenAI 内部"看法一致"等判断都只代表当时,部分已被后来的发展改写。
  • 关于 OpenAI 自身的说法没有第三方印证:Azure 合作"非常好"、权重安全"不担心"、内部意见一致、营收预测有数据支撑。作为合作方和公司高管,他在这些问题上有立场。
  • 很多回答极短("看起来有前景""只有一个办法能知道"),涉及数据来源、算法提升幅度、营收外推方法时他明确回避了细节,文中不应被读成完整论证。
  • 他关于 TPU 成本、英特尔晶圆厂的说法,他本人在访谈中就承认不确定;"没有他和辛顿深度学习只会推迟一年左右"是无法检验的反事实推测。

本文根据公开访谈的字幕整理改写,原话为节选。完整内容请看原视频。 审校于 2026-10-26