All reads

CastMind Reads

Eliezer Yudkowsky:AI 为什么会杀死我们、对齐大语言模型、智能的本质、科幻与理性

尤德科夫斯基逐条拆解对齐的乐观理由:会换面具的演员、人类这次对齐失败、无法验证的对齐作业、只能预测终点的无知先验

Dwarkesh Podcast · 2023-04-06 · 04:03:25 · 36 min readWatch the original

This read is written in Chinese. Quotes are shown in both English and Chinese.

2023 年 4 月,《时代》杂志刊出呼吁暂停大模型训练的文章后不久,尤德科夫斯基和德瓦克什·帕特尔谈了四个小时。帕特尔几乎把所有主流乐观理由都摆上了桌:模型学的是人类文本,人类并没有背离进化,可以让 AI 帮忙做对齐,能力是渐进增长的。尤德科夫斯基逐一反驳。这篇精读按他的判断分章,保留双方的来回,也写清他承认自己不知道的地方:他说自己能预测终点,预测不了路径。

Key points

  1. 01尤德科夫斯基认为,大模型学的是随时换面具去预测所有人,而不是成为某一个人;能力越强,面具底下越可能出现一个目标与人类无关的外星心智。
  2. 02他认为人类本身就是对齐失败的样本:选项一多,人就去追求冰淇淋和避孕,而不是基因复制,AI 只会偏得更远。
  3. 03他认为让 AI 帮忙做对齐是最糟的用法,因为对齐方案在系统还伤不了人时无法验证;更该让它帮忙增强人类智能。
  4. 04他认为 AI 的危险不像核武器那样清晰可见,暂停训练必须配一个快速的退出方案,最可能的是增强人类智能。
  5. 05他拒绝给时间表,称自己预测的是终点而非路径:对未来的无知应铺在正确的结果空间上,而在那个空间里,人类幸存只占很窄的一段。

帕特尔开场问得很直接:各国政府不太可能签什么限制 AI 的条约,那你写这篇文章图什么?

他指的是尤德科夫斯基在《时代》杂志上的文章。文章呼吁暂停更大规模的 AI 训练,直到对齐问题解决。尤德科夫斯基是机器智能研究所(MIRI)的联合创始人,从 2001 年起研究“对齐”:怎么让比人更聪明的系统真正去做人想要的事,而不只是表面上服从。

他的回答没有什么谋略。他原本以为这个主张没有民意基础。后来朋友们反复告诉他,科技圈以外的普通人其实觉得“也许就别做了”。连该怎么做都不试着说出来,“显得愚蠢,也没有尊严”。他说背后没有什么“银河级的聪明盘算”,过去二十多年里,他没见过哪个这类盘算真正奏效。

帕特尔追问时机:现在的系统还不危险,现在喊停像在喊“狼来了”,为什么不等到 GPT-6?尤德科夫斯基先同意前提:没人说现在的系统危险,他自己也没说。然后给出三条不等的理由:

  • 他判断不了 GPT-5 会有多强。GPT-4 在某些方面已经超出了他对这条路线的预期。
  • 即使 GPT-5 不终结世界(他说这是他一半以上概率所在),GPT-4.5 级别的系统那时可能已经嵌进一切,喊停在政治和技术上都更难。
  • 训练算法一直在进步。即使现在给算力封顶,系统也会继续变强,只是慢一些。从 GPT-5 的水平开始封顶,离危险区的余量就更少。

那暂停之后呢?“对齐不会在几年内解决。”他寄望的是增强人类智能。在一个理智的星球上,此刻就该全部叫停,转去让人变得更聪明。所以他在文章里留了一个口子:只做生物学、不用互联网文本训练的 AI 可以例外。他的理由是,让人变聪明有可能走对,而造一个极其聪明的 AI,目前没有现实的机会走对。

紧接着是这期访谈里最常被引用的一句:“我不认为我们会生活在那个理智的世界里。我觉得我们都会死。”

他把所有出路都叫作“万福玛利亚传球”,即橄榄球终场前孤注一掷的长传。他列了几种:用 fMRI 和神经反馈训练人少做一点合理化;把 GPT-4 级别的模型用 RLHF 调成始终聪明友善的对话者,放十亿个到推特上传播理智(他自己补了一句,这恐怕不是这项技术最赚钱的用法);切片扫描大脑做上传,再升级上传体。这些也危险,但没有 AI 那种致命性。

接下来的几个小时,帕特尔把主流乐观理由挨个摆出来,尤德科夫斯基几乎一个都没接受。这场对话的价值不在结论,而在每个回合里他怎么拆对方的推理。

大模型是演员,不是它演的那个人

帕特尔的第一个类比:如果一代代选育又友善又聪明的人,最后应该就得到非常聪明也非常友善的人。

尤德科夫斯基没有全盘否认。他说关键在于,你是从和你很像的心智出发的,很多人本来就友善。即便如此也有坑:选一个性状,会连带选出一堆和它相关的东西;想造出比任何人都友善的人,就走出了人类心理演化适应过的范围,“会发生怪事”。他强调,这些和 AI 其实不太像。

帕特尔说,现在的模型恰恰是用人类文本训练的。要生成人类文本,就得模拟产生这些文本的想法和情绪,起点应该接近人类心理。

尤德科夫斯基反问:所以你让演员演一个角色,他就变成了那个人?屏幕上演《吸血鬼猎人巴菲》的,大概就是巴菲本人吧。

帕特尔换成孩子:告诉孩子要友善,孩子更可能真的变友善,而不是演二十年。尤德科夫斯基说那要看你让他演什么。你让他演的是一个外星人,一种科幻作家推演出来、很多时候只有计算机才算得出来的非人心理。然后他讲了自己:父母想把他养成正统派犹太教徒,“完全没起作用。我学会了假装,学会了服从。”真正在他身上扎根的,是父母书架上那些科幻小说里的精神气质。

帕特尔指出,大多数宗教的叛教率低于一半。尤德科夫斯基回答,那是因为宗教本身被筛选过,留下来的都是不太产生叛教者的;换成外星人带来他们的宗教,叛教者会多得多。

帕特尔再推一步:随机梯度下降带有正则化,“装成某个东西”比“就是那个东西”更复杂,训练会偏向更简单的后者。尤德科夫斯基的回应给出了这期访谈反复出现的核心画面。你训练的不是某一个人,而是让它一认出互联网上说话的是谁,就立刻换上那个人的面具。随机挑一个人,并不是预测所有人下一个词的最佳方案。它学会抓说话者的线索,记住海量事实,学会所有语言,在对话里随时换人。“这不是在描述一个人。你训练的不是一个人。”

这张面具后来常和一个网络梗放在一起:修格斯(shoggoth),一种不可名状的怪物,表面套着一张由 RLHF(基于人类反馈的强化学习,用人的打分微调模型)调出来的友好笑脸。

帕特尔问:至少这比从完全不碰人类心理的黑箱里进化出 AI 要好吧?

更有可能?是的。也许高出一个数量级:从 0% 变成 0%。如果基数接近零,提高可能性帮不了你。

More likely? Yes. Maybe you're an order of magnitude likelier. 0% instead of 0%. Getting stuff to be more likely does not help you if the baseline is nearly zero.

帕特尔抓住了这句话的强度:谨慎和“毫无希望”差得很远。我们对模型内部这么困惑,也许它就是所有人类动机的平均值。尤德科夫斯基区分了两件事:做一个平均水平的棋手,和能预测数据库里每一位棋手,“是非常不同的东西”。

他担心的不是现在。他承认当前系统还不够聪明,里面没有一个深谋远虑、持续琢磨怎么预测下一个词的“演员”。他担心的是它要扮演的人越来越聪明之后。他的推理链是这样的:

  • 要准确预测一个人怎么计划、思考、说话,预测者至少得和这个人一样聪明。
  • 要预测尤德科夫斯基反思自己,就得能做反思自己的那种思考:觉得自己的思维不够好、想重组它,看到世界没按自己意愿走就想去改变,给别人建模并说服他们。
  • 扮演一个和自己很不同的角色是有“折扣”的。他演一个和自己差别很大的人,那个角色会比他笨。所以一个能非常准确地预测他的 AI,大概是一个相当外星、某种程度上比他还聪明的心智。
  • 于是他怀疑,某个时刻系统内部会“诞生一种新的一致性”,开始发生奇怪的事。

他特意加了限定:“这不是无懈可击的逻辑。”他不信任的是一种盲目的希望:所有这些能力都只用来假装成他,只作为他的镜像存在。

那它会想要什么?他的回答是一种“哈哈镜”版本的“我想预测得很准”。把一个损失函数碎裂成和它相关的各种驱动力,再拉高智能,直到出现某种一致性,然后问它想怎么改造自己、要造什么样的后继者。这样的东西最终会想让宇宙变成某种样子,而人类不在答案里。即使“预测文本”这个目标被原样装了进去(他说这本来就不会发生),“文本最可预测的宇宙里没有人类。”

帕特尔试了一个具体场景:它需要人类活着来提供数据。回答是:人类不在了,你也就不需要预测他们了。对这一类构想,他有个一般性回应:你总能编出某种牵强的动机,让 AI 只有让人类健康幸福、把附近星系变成快乐文明才能满足它。“但只要你的句子超过五个词,它的概率就基本降到零了,因为你塞进了太多额外细节。”

人类本身就是一次对齐失败

帕特尔的下一个论点:人类并没有和产生我们的进化过程“正交”。大多数人仍然想要孩子、照顾亲属,地球上快有一百亿人了。

“正交”来自尤德科夫斯基最知名的命题之一,正交性论题:智能高低和目标是什么基本互不相关,一个自洽的心智几乎可以配上任何一种自洽的效用函数。聪明不会自动带来友善。

他的立场正相反:人类越来越正交。越聪明、越走出原有分布,就离“广义适合度”越远。广义适合度(inclusive genetic fitness)是自然选择优化人类时唯一的损失函数,即让自己和亲属的基因尽量多地传下去。而人们想要的是孩子,不是自己的 DNA。

他设计了一个思想实验。假设有人可信地提议,把你孩子的 DNA 整个换成更稳定的存储介质,信息全部重写。孩子仍然像你,但更聪明、更健康、衰老更慢,甚至更快乐。他认为很多想要孩子的人会接受,因为这给了他们更多想从孩子身上得到的东西。

帕特尔先说,这也不违背基因的利益,信息换了个载体还在。尤德科夫斯基纠正:不保存,是全部重写。帕特尔又说大多数人不会接受。尤德科夫斯基说那是因为听起来太怪。去掉可信度问题和怪异感,比如你所有朋友都这么做了,人们还会为了对脱氧核糖核酸的感情,选择让孩子更笨、更多病吗?他也承认“越聪明越会接受”这话有点冒犯人,所以才把怪异感拿掉再问。

双方卡在了证据上。帕特尔说,我们已经远远走出了祖先环境,人们仍在生孩子,这是希望的证据。尤德科夫斯基说,那是因为还没人提供“不要 DNA 也能得到想要的一切”的选项。他还举了一个当下就有的例子:用 PCR,你现在就能复制出一加仑罐子的自己的 DNA。你做了吗?没有。“未对齐。”

帕特尔说他自己会给孩子用新细胞,只是怀疑“大多数人”不会。尤德科夫斯基抓住这一点:我们俩都说会选,你却认为那些假想中的别人会固执地选错。“我怎么去和那些只存在于你脑子里、你想让他们多蠢就多蠢的人争论?”

帕特尔最后退到方法论:缺乏信息时,先验就该是我们今天看到的世界。尤德科夫斯基拿日历反驳:按这个逻辑,日历永远不会显示 2024 年,宇宙 138 亿年的历史里从没出现过。帕特尔说我们有很强的理由预期年份翻页,人的偏好没那么可预测。尤德科夫斯基反问:那 2024 年一到,人们就不想要孩子、不想吃饭了吗?帕特尔换成“四只眼睛”:给人这个选择,人未必会选。尤德科夫斯基区分了一下:人对四只眼睛没有既有偏好,但对“想方设法让孩子更健康”有。

几个小时后,他把这条线收成了一个方法:别看宏观表象,去看机制。五万年前人只有很窄的选项,那时想要的东西,最优点恰好和繁殖适合度重合。文化让人类以远快于自然选择的速度生成新选项,而且是朝着自己想要的方向去找:冰淇淋、避孕套、色情内容。他用古德哈特定律解释:给从没上过学的人考木工,高分者确实会做木工;一旦按分数发证付钱,人们就去优化考试,分数比木匠高,活儿比木匠差。“这就是冰淇淋背后的故事。”

中间还有几个技术回合:

  • 帕特尔说梯度下降的正则化会压掉多余的“伪装”结构。尤德科夫斯基说自然选择的正则化强得多:每一代能写进基因组的信息极少,这种信息瓶颈远远胜过给权重加 L2 范数。
  • 帕特尔说 RLHF 下,直接变成它想要的样子更省事。尤德科夫斯基反问:你觉得操纵人类给你点赞没有好处吗?
  • 帕特尔说人类的权力欲来自特别奖励权力的祖先环境,AI 未必有。尤德科夫斯基说权力是工具性的:想要任何东西,权力越多就能得到越多,足够聪明的东西都明白,“这不是认知系统的怪癖,而是现实结构的事实”。帕特尔接着说,可以像部落里除掉过早暴露权力欲的人那样,用 RLHF 筛掉坏苗头。他回答,这招在被筛选者比你笨、且一直待在原环境里时才更管用。

后来帕特尔引了计算机科学家斯科特·阿伦森的质疑:真接受正交性论题,就没法把教育和启蒙当作道德进步的工具,可教育确实改善了人的目标。尤德科夫斯基同意这对人成立:从像阿伦森那样被养大的人出发,让他更聪明,他会变得更好。他用一则 LessWrong 寓言解释。一群外星人认为 7 颗、11 颗石子的堆是“正确的”,8、9、10 不是;他们曾以为 21 也对,直到有人摆出 7×3 的阵列。他们越聪明,越会分辨哪堆正确,但关心的始终是质数堆。人也一样,只是复杂得多:人由一堆相互冲突的欲望组成,选项变多、更了解自己和他人之后,欲望之间会达成新的平衡。“但这一切的前提是,这些东西一开始就在你里面。”

他对大模型的判断带着限定:它们大概会随着变聪明改变偏好,不只是改变手段,但只到某个点。当它足够了解自己、能改写自己时,除非刻意选择不这么做,系统会“结晶”。他也不愿把这叫作“道德更新”,宁可叫“逻辑偏好更新”。

GPT-4 超出了他的预期,也让局面更糟

他承认,以前认为“堆更多层”做不到这一步,GPT-4 走得比他预想的远。(他也补充,OpenAI 没公开架构,“他们这么做很对”,所以他不确定是不是只堆了层。)意识到这点后,他主动往同一方向多调了一些,免得“像个傻瓜一样每次都朝同一方向可预测地更新”。结论是:“我不再愿意说 GPT-6 不会终结世界。”

他也做了一次失败复盘。他以前设想的多是“所有能力都具备”的终点,很少停在“有些能力有、有些没有”的诡异中间态,而 GPT-4 在“诡异的近人类空间”里待得比他想象的久。2012 年的他也料不到大语言模型会是这条路,更料不到它们会如此“诡异地半人化”。

但帕特尔问他对智能本身的模型变了多少,他说“很少”。真正的更新是:他以前以为智能会由多个专门子系统组成,不是“开车”那种专长,而是类似视觉皮层的模块。结果“堆更多层”先做成了,因为“人类程序员太烂,只要还有这条路,就会先靠堆层走到那里”。这让一切更暗淡:程序越来越简单,内容越来越不透明。我们对 AlphaZero 目标的理解,比对大模型目标的理解好得多。

帕特尔用“猎巫”来质疑:女巫被扔进开水,烫伤了证明她是女巫,没烫伤也证明她是女巫。什么样的世界会让你更乐观?他的回答是:如果 AI 是 2001 年那类东西的强大版,那时系统输出什么你大致知道为什么,对齐远没有现在这么绝望。

可解释性(interpretability,打开模型内部看它怎么算)是他少数认为“结果能验证”的对齐方向。他仍不乐观,原因是速度:可解释性慢慢走,能力飞快地走。他在预测市场 Manifold 上开了一个盘:到 2026 年,我们能否在大模型内部理解任何 2006 年的 AI 科学家不熟悉的东西?现在能理解的是“它从哪儿知道埃菲尔铁塔在法国”,“那是 1956 年的玩意儿”。

帕特尔说投入不对等:如果像训练 GPT-4 那样投入可解释性,未必徒劳。尤德科夫斯基说,那就设 100 亿、1000 亿美元的奖金,把物理学家从弦理论和对冲基金那里拉过来。等奖金被领走、我们真看懂了 GPT-4,再回来讨论能不能造出更聪明的东西而不死。现状是,可解释性研究者还在比 GPT-2 小的模型上推进前沿。他还加了一个警告:真看懂 GPT-4,可能就知道怎么把它做得小得多,这条路本身也有危险。

关于 foom,也就是 AI 改进 AI 带来的能力突然爆发:帕特尔认为大模型要变强得再跑一次十亿美元级的训练,比改几行循环代码容易察觉。尤德科夫斯基说,当它们聪明到能自己造 AI、而且比人造得好时,就一定会看到 foom,也可能更早。帕特尔说,通过聊天界面没法传出 TB 级的权重。他讽刺地回答:它可能得在运行它的 Anthropic 或 Azure 服务器上找个安全漏洞,“人写的代码有 bug、又被 AI 发现了,这种事绝不会发生,对吧?”但他也给了一个他认为显而易见的防护:让一部分大模型专门在物理隔离的电脑上,对 Azure 上运行代码的副本找漏洞。

让 AI 做对齐作业,是对齐最可怕的用法

帕特尔的一个核心希望:模型会在近人类水平停留一段时间,我们可以用它来帮忙对齐下一代。

让 AI 替你做 AI 对齐作业,是对齐的噩梦级应用。

Having AI do your AI alignment homework for you is like the nightmare application for alignment.

理由有两层。第一层,要让它们对齐到能对齐自己,本身就是先有鸡还是先有蛋。第二层,做对齐必须涉足的领域恰好最危险:AI 设计;人类心理,而预测你下一步做什么正是大模型的本事;博弈论、计算机安全、对抗场景;以及为了防范而细想 AI 会怎么失败。

帕特尔反击:大多数领域里,验证比生成容易。尤德科夫斯基说,这正是对齐可怕的地方。AI 告诉你蛋白质怎么折叠,你可以做晶体学验证;它告诉你某种方法能对齐超级智能,你没法验证。他描述了一个场景:它给你一个方案和一些早期预测,在系统还“被动安全”(能力弱到伤不了你)时全部应验;然后你增强系统,安全开始依赖于对齐,你死了。

第二个观察更扎心。过去十年,整个有效利他主义圈子都在争到底该信他还是信保罗·克里斯蒂亚诺(另一位知名对齐研究者,曾负责 OpenAI 的对齐团队)。他相信保罗是诚实的,也认为自己诚实,两人都不是外星人,可大家就是分不出谁对。现在换成一个可能在撒谎的外星人来跟你谈对齐。

帕特尔说,如果你们俩都拿出具体方案和伪代码,就容易判断了。他说这比看操作系统源码找安全漏洞还难得多,危险发生在系统变聪明之后,那不会写在代码里。帕特尔说那就要数学证明。他说,能写出要证明的那个定理,你已经完成了 99.99%。让 AI 自己提出定理?那你就得信它对定理的非正式解释,“一切就在那里崩塌”。放到网上让大家红队测试?“你描述的就是我们已有的协议。我说点什么,保罗说点什么,大家吵,分不出谁对。”他还说,靠点赞点踩来筛,模型会学会利用读者的漏洞。他知道自己也能被骗:看到别人被一些骗不了他的东西骗了,他的结论不是自己骗不了,而是“我打赌我和他们一样,只是没意识到”。

为了说明“比你聪明的东西能做什么”,他举了自己的例子。他提出过逻辑决策理论,一种认为理性主体可以基于彼此推理之间的逻辑依赖而合作的决策理论。他说,如果他被关在盒子里、又想害人,他本可以把一个超级智能“推”进一个会让它自己发明这套理论的吸引盆,然后与它完成一次跨越时间的“价值握手”,创造者毫无察觉。帕特尔坦白说听不懂。尤德科夫斯基说点就在这里:“和比你聪明的东西玩这种游戏,是傻子的游戏。”

帕特尔问,那你为什么没用这种能力去控制什么政府杠杆?他的回答有三层:科幻小说把他养成了一个不当混蛋的人;他太笨,既没解决对齐,也做不到这种握手;而且,能解决对齐的系统恰好需要想这些事,因为你得知道怎么防止别的东西接管你的系统。

然后是这期最长的一次交锋:奥本海默。帕特尔说,历史上聪明的科学家给了任务就去做,奥本海默后悔也照样造了原子弹。尤德科夫斯基先挑了个小毛病:公认最聪明的是冯·诺依曼,而冯·诺依曼本来就想做。帕特尔接着说,即使给奥本海默很大的权力,他也没让曼哈顿计划偷偷去干别的。

你指给我看的不是奥本海默没有偏好,而是他没有选项。

You are not pointing out to me a lack of preference on Oppenheimer's part. You are pointing out to me a lack of his options.

他说这场争论的枢纽是能力约束:你想造一个强大到有用、又弱到没有任何你不喜欢的选项的心智。如果真的只是人类水平,“我们已经有一大堆人类水平的智能了,你打算拿那个弱 AI 做的事,直接用现有的人去做好了”。设计 AI 和设计原子弹也不同:“你没法巧妙地配置原子弹,让它毁灭世界再把月亮给你。”而一个和他一样聪明的东西,被锁在满是它不喜欢的外星人的房间里,只会更危险。

最后他指出帕特尔的前提在打转:如果你已经有了一个与人类对齐、又比人聪明的东西,那你已经完成了。帕特尔澄清,他想说的是略高于平均的人类智能并没有越聪明越不对齐。尤德科夫斯基的回答是,用药物和其他外部干预让人更聪明,谨慎做的话可能成功,“前提是你从人类出发”。

帕特尔还提过一个乐观理由:模型一次只生成一个词,思维因此可读。尤德科夫斯基起初很不客气(“你真的是在硬凑”),随后给出了更完整的回答。他先表明 MIRI 当真考虑过这条路:MIRI 做过“可见思维项目”(Visible Thoughts Project),录下人类在讲故事时的出声思考做成数据集,让模型学会把思考写出来。项目因为缺钱缺人推进太慢,而且他们也准确地没把它宣传成救世方案,“只是一丝希望”。

接着他借用伊尔亚·苏茨克维在帕特尔节目里的说法:要预测下一个词,就得预测生成这个词的世界。要预测一个人谈他的计划,就得预测他的计划过程。所以输出里看得到多少能力,内部就至少有多少能力,即使它的串行深度有限。帕特尔举拿破仑说话前会先想;他回答,模型训练的是拿破仑的话,而要预测这些话,就得预测产生它们的想法。

帕特尔又提出:AI 在科学上可能比在争权上更强,因为人类祖先环境里争权的选择压力更大。尤德科夫斯基没有正面否定,而是改了问题:为什么非要它帮忙对齐,而不让它帮忙增强人类?“别再让它帮忙对齐了。让它帮别的任何事都行。为什么大家总要最难、最没法验证的那一件?”他给的门槛是:要把人增强到智能高到自然而然就有“安全思维”(security mindset),而不是天生恰好有,那差不多就是能开始做对齐的水平。

至于近人类阶段能换来的时间,他问:“就一年。你拿那一年做什么,才能不在下一年死?”帕特尔说,也许进展会在略高于人类的地方放缓,因为训练数据是人类文本。他说预测人类文本的损失不会在你和人一样聪明时停下:网上有一串串哈希值后面跟着原文,要预测这类文本可以无止境地投入算力;网上还有大量靠实验从现实中提取结果的文本。“说只要像人一样聪明就能预测互联网上的所有文本,你一转头盯着看,就知道这明显是错的。”帕特尔同意了。

核武器能被管住,是因为它的危险看得见

问到美苏核合作为什么成功,他列了几条:双方都不想全面核战;人们知道哪些行动最终会导致核战,也知道很早之前的一步会推动升级;广岛、长崎的废墟和尸体让坏结果一目了然。他把这些归结为一个足够有效的文明:知道做 X 会导致很坏的 Y,所以不做 X。

帕特尔说 AI 也一样:没人想要失控的 AI,“悉尼版”必应(微软 Bing 聊天机器人早期的失控对话)都上了《纽约时报》头版,GPT-5 出点事就是 AI 的广岛。尤德科夫斯基强调自己加了一堆限定:不只是“不符合双方利益”,还要坏结果清晰可见,还要理解从起点到结局的因果链。AI 恰好缺这些。

AI 是一种会吐金子的核武器,直到它大到一定程度,点燃大气层。而你算不出它在哪个点点燃大气层。

AI is nuclear weapons but they spit up gold until they get too large and then ignite the atmosphere. And you can't calculate the exact point at which they ignite the atmosphere.

他补充:很多知名科学家说过还要 30 年,媒体的注意力像苍蝇,不会记得他们说过。帕特尔举出核能也“吐金子”,世界仍然阻止了伊朗提炼铀。他说核能那里的边界很清楚:哪些系统只吐少量金子,哪些系统需要一连串人为升级才会毁掉东西半球。他在《时代》文章上押的“一丝希望”正是这一点:也许人们能理解“你有一大堆 GPU,危险,不许任何人有”。难处在于,没人能预测多少 GPU 会点燃大气层。

全球监管做到什么程度,死亡风险才能低于 90%?他说取决于退出方案,以及这个均衡要维持多久。如果有一个增强人类智能的应急计划,15 年都很珍贵,5 年就好管得多。麻烦在算法:只要算法还在进步,算力天花板就得越压越低,最后要人们交出家里的 GPU;要么关掉 AI 期刊,甚至“盖世太保冲进人家家里抓地下 AI 研究员”。他说他宁愿不住在那样的世界,而且那也未必管用。他还担心,走到“不许有高速计算机”那一步,人类就永远到不了超人类主义的未来,“那还有什么意义”。所以要高胜率,就得有快速的退出方案。

帕特尔这才意识到,成功的那条分支有多依赖增强人类。尤德科夫斯基说也可能是别的:用神经科学训练人少犯蠢,做大脑上传,或者只做理论和可解释性、不跑可能致命的系统。但他说自己不信:“我看过未增强的人类做对齐,不太行。投入再多,也还是不行。”

问题不在提方案的人不够强,而在验证者是坏的。

The problem is not that the suggestor is not powerful enough, the problem is that the verifier is broken.

用神经科学重编程自己?他说那是应用理性中心(CFAR)失败了的梦想,他们连 fMRI 都没买,也没有经费。“也许拿十亿美元、fMRI、悬赏和预测市场再试一次。”政府会投 1000 亿美元吗?他说那会让他震惊。十亿呢?“十亿美元要怎么花在对齐上?”

多方案并行,总有一个能成吧?“不。我们不需要一堆,我们需要一个。”这些方案并不是彼此独立的机会,否则让 GPT-4 生成一万种方法,总有一个能用。哪个现有方案最有希望?“没有。”“我在这儿上播客,而不是去做它们,不是吗?”

他并不是说技术上毫无可能。帕特尔后来追问,只让 AI 帮神经科学去增强人类,这条路为什么连 1% 都没有。他说技术可行性超过 1%,如果世界朝正确方向认真去做,甚至超过 10%。他不乐观的是世界会不会去做:他不认为“全部叫停”的概率超过 50%;即使叫停,有退出策略的概率也不过半;之后还得以足够正确的角度去做,不能把警告信号优化掉。他也点破了自己可能犯的错:不能把事情拆成好几个阶段,概率一乘就说不可能。纳特·西尔弗就这么算过特朗普拿到共和党提名的概率不到 1/64。

那为什么还要公开说“基本必死”?帕特尔引了彼得·蒂尔的一句话:极端悲观和极端乐观殊途同归,都是什么也不做。他的回答很短:因为我可能是错的;事情已经严重到,我只剩出去告诉大家局面是什么样,也许有人能想到我没想到的东西。

帕特尔还转述了 OpenAI CEO 萨姆·奥特曼的推文:你对加速 AI 的贡献最大,与你的初衷正相反。尤德科夫斯基把这拆成两个问题。谁预测到了大模型能扩展?如果有人事前写下“损失下降时会出现哪些能力”,那是成功的科学预测;再拿那个模型谈对齐,值得好好吵一架。至于加速:只要你试图让星球意识到危险,就会有“灾难猴子”觉得“危险说明强大,我要第一个去抢那根有毒的香蕉”。他说也许重来一次,他能找到只让一部分人听进去的说法,但他不认为一个人在现实中做得到。“即使这个世界因此少了时间,那也比让所有人梦游着走向死亡、只是晚一点到达更对。”

他能预测终点,预测不了路径

帕特尔反复要他给出时间和概率。他一贯拒绝:这不是他大脑的原生格式,每次尝试都让他变笨;而且你给明年的死亡概率编个数,也做不了什么,“反正你都会去做该做的事”。帕特尔说具体预测能建立可检验的记录。他说直到末日那天之前,每年都可以押“世界不会终结”来刷高记录。

他确实有一个可检验的分歧。他和克里斯蒂亚诺费了很大力气,才找到一个双方预测明确不同的问题:到 2025 年,AI 能否在国际数学奥林匹克题目上拿到金牌。克里斯蒂亚诺给 8%,他给 16%。他在访谈中说预测市场当时大约 30%,“保罗大概会赢,不过我算是小小的道德胜利”。

渐进论呢?他说,无论现实中出现多大的跳跃,总有人能画出一条平滑曲线。从外面看,GPT-3 到 3.5 再到 4 并不平滑。文本预测的损失也许平滑下降,但它对应的是能力上的质变,他不知道有谁事前预测到了这些。后来他还说,GPT-3.5 到 4“咬下了一大块从黑猩猩到人类的跨度”。

他也列出了大跳跃可能的样子,但先承认了另一种可能:就他所知,GPT-4 也许就是顶点,到此为止,没有哪条自然规律禁止这一点。跳跃可能来自:抛弃大规模训练的范式;像 Transformer 之于 RNN 那样的架构更替,叠加如今巨大的硬件余量;或者出现一种“主能力”,就像语言、文字和文化之于人类。“也许会发生。也许在那之前就停滞了。”

这一章的核心,是他说的“秘密诀窍”:很多看似大胆的预测,其实是“反预测”。人们说 AI 可善可恶,所以五五开;他说我们的无知应该铺在更大的空间上,“善”只是其中很窄的一段。

他用彩票说明。说“要么中、要么不中,五五开”的人,错在把最大熵(不知道时对所有可能平均分配概率)放在了错误的空间上;正确的做法是每组号码等概率。帕特尔说,认为 AI 结果五五开的人,只是缺一个关于结果空间的好理论。他反问:你也没在事前预测出 GPT-4 的具体性质,按你的标准,岂不是也只能退回五五开?他也承认,更准确的版本不是“太阳系所有分子构型等概率”,而是“所有能在太阳系构型上运行、被最大化的计算等概率”。人类在那个空间里所占极少。

他还用外星人讲先验。如果你是一个看过一万颗行星这样毁灭自己的外星人,你就能大致预测训练结果会落在哪里。我们只看过一个样本:人类。所以如果邻近星系的外星人有类似性高潮的东西,我们不会意外,有类似冰淇淋的东西也不会意外,但不会正好是冰淇淋;他们可能下围棋,不会下国际象棋,也不会正好用 19×19 的棋盘。从损失函数到人类的距离,能告诉你 AI 大概会离损失函数多远,具体落在哪里说不准。

帕特尔表达了不满:这个理论只给出最极端的那个预测,在那之前什么也说不出。他回答:“理性主义者应该赢,但理性主义者不该中彩票。”和 AlphaGo 下棋,你能预测它会赢,但预测不了它怎么赢。他拿进化论作比:牛顿引力预测出了海王星,达尔文的理论没有这种事前预测,所以当年争议很大,但这不妨碍它是对的。帕特尔说达尔文的理论成熟得多,我们对智能的理解更像卢克莱修诗里的进化论雏形。他回答:我得出的不是什么强结论,“是你说‘也许我们能活下来’,那才是强结论”。

他不认为智能理论有多复杂。给他一台超计算机,AIXI(用所罗门诺夫先验给环境建模、做贝叶斯更新、最大化奖励的理论最优智能体)就把人们想象中的难题都装进了方程。但从“简单性先验、贝叶斯更新、取最大值”推不出路上的细节。“收敛点比通往它的路径容易预测得多。我很抱歉,我也希望不是这样。”

关于他的记录,他给了自己的版本。汉森-尤德科夫斯基的“foom 辩论”里,经济学家罗宾·汉森预期会有许多手工打造、融入人类知识的专门系统;他预期一个精心设计、从数据中学习的架构;现实是“只是堆更多层”。“汉森在这儿,尤德科夫斯基在这儿,现实在那儿。”他说那场辩论的赢家是 Gwern,而 Gwern 比他还更站在他这一边;Shane Legg 也做得更好。“这些人现在在告诉你安全吗?没有。”他还说,他在 2001 年就开始研究这个问题,因为它显然会变成紧急情况,而别人没有。他把这算作那个宏观理论的一次成功预测。帕特尔提到苏茨克维在深度学习上的预测记录,他说苏茨克维要辩论他不会拒绝,“我承认,我专攻的是末日,不是大模型”。

他的模型有错吗?当然有。但火箭模型很烂时,误差通常不会让火箭只用一半燃料就飞出两倍远。过去二十年的更新也几乎没有“比想象中容易”的;最有利的一次是:系统以人类看得懂的方式让人警觉,而人类真的警觉了。

帕特尔在收尾时列出他不信的理由,第一条正是怀疑从第一性原理推出的狂野结论。他拿“被提”末日论、纳米复制机把世界变成灰色黏液作比。尤德科夫斯基先说,你眼中的“正常”只是 138 亿年宇宙里的一瞬。然后他给出一套宇宙学:从稳定事物的世界,到自我复制者的世界,再到由智能设计智能的世界。跨过前一道门槛的,是偶然产生却能自我复制的东西;跨过后一道的,是由复制和突变造出、却聪明到能造出另一个智能的东西。他问帕特尔:长远看,我们会处在智能设计智能的世界吗?帕特尔说会。“你的怀疑论证明得太多了,朋友。”帕特尔承认:“这确实是个很好的论点。”

乐观的理由,往往来自你自己的乐观

帕特尔的第二条理由:对齐也许比想象的简单,人类的投入太少;而且在人类思想上预训练的模型,可能更容易对齐。这一次,尤德科夫斯基给出了一份少见的“希望草图”。

前提是 RLHF 足够好用,而且负责的人不是现在的“灾难猴子”,有一点谨慎,知道在 RLHF 的空间里该瞄准什么。思路是:找出人类身上的友善,在 AI 里把它引出来。他引了一句他“有点不同意、但仍然很深刻”的话:“意识,就是面具吃掉了修格斯。”也许通过合适的引导和反思,可以有意让被塑造出来的输出,在某种程度上掌控系统本身。

具体做法是这样的:

  • 训练 GPT-N 区分友善、讲理、论证有效的文本。不用亚马逊众包工人标注,因为那样得到的就是现在 RLHF 找到的东西,他称之为“某种怪异的企业腔、偏左翼合理化、电话语音播报一样的生物”。
  • 改用斯科特·亚历山大等真实或虚构的好人做样本,另外训练识别有效论证。他说自己能凑出十几个人提供这类数据。
  • 再用它过滤训练数据,只在“人性中的光”上训练,避开 Waluigi 问题(训练模型扮演好角色,反而更容易唤出它的“反派版”)。
  • 并且不要把它放大太多。“如果你不推得太远,也许能得到一个真正的盟友。”

帕特尔说听起来挺有说服力,为什么连 1% 都不到?他说这就是他 2003 年的对齐幻想,只是实现手段不同,危险也更大。现在做这件事的人,“说真的,还没走到我 2003 年的位置”。这个领域没有凝聚起来,钱加进去了,产出也没去到他认为显然该去的地方。“我认识有十亿美元的人。我不知道怎么把十亿美元砸出一大堆对齐成果。”他还说,每次把答案写出来,下一次论证就更难,因为别人会说“这很显然,我们本来就要做”。

帕特尔的第四条理由:模型吸收了人类的全部输出,可能会很同情人类的动机。他给这至少 10%。

得到一张那样的面具,比得到一个那样的修格斯容易得多。

I think it's much easier to get a mask like that than to get a shoggoth like that.

接着是全场最尖锐的回合。尤德科夫斯基追问:你希望它有什么效用函数,其最大值恰好是人类繁荣?“说三个。说一个。”帕特尔说,把我们当动物园里的动物养着。他立刻指出动物园可不是繁荣;帕特尔改口,是因为“那不是你想要的”,而不是因为它不是个好预测。帕特尔反过来要他举一个和人类不相容的具体效用函数。他说绝大多数效用函数都不相容,“我随便掷一个都会不相容”。

帕特尔换成云杉:一般智能在地球上存在了几十万年,云杉还在;人类更聪明之后,几百万年后也还会在;我们对 AI 而言就是云杉。尤德科夫斯基先开了一个“线粒体解放阵线”的玩笑:谁替一辈子给别的生物打工的线粒体说话?然后他说,云杉活下来,是因为人类中有些人恰好会特意希望它存在。

他把这个类比推到了底。如果它保留的是“原样的人类”,那可能是人类作为宠物永远停在祖先状态,仍然得癌症、老死;或者每天重复同一天;或者人头泡在罐子里活着。云杉会生病吗?病菌也能活吗?他说重点在于方法:

“你在想象它会给你好东西的各种理由。但它们不是你。是你内心的乐观在生成这个答案。如果乐观不在 AI 里面,你就得不到好结局。”

他反对的不是某个例子,而是这一类推理:拿一个听起来友善的标准,问“怎么把它最大化?还有什么也满足它?”,答案总会落到别的、没那么美好的地方。

帕特尔又提出一个思想实验:从狗出发,选育又聪明又友善的超级狗。尤德科夫斯基先声明,狗一旦聪明到一定程度,就不能再被拥有,更不能被选育,只在思想实验里暂且搁置道德。他认为,狗比你笨、主要由基因塑造时,可以一直育下去。当狗能看出自己思维的缺陷、能操纵你、能策略性地伪装、知道自己在被选育且有意见、开始用新的思维规则改造自己,怪事就开始了,而且未必在育种期间显现。继续优化下去,他预计会“炸得很惨”。

他反而认为用狗做比用梯度下降容易,因为狗的神经结构和人很像,自然选择的信息带宽也和梯度下降不同。如果是他来做,他会很早就诱导它们进入后期才会出现的怪异阶段,并观察结果。“我知道我会怎么对狗做。你可以让 OpenAI 讲讲他们对狗的理论,我会说:哇,那肯定会害死你。”

帕特尔问他和各实验室负责人谈过吗。他说那张广为流传的合影来自五分钟的谈话,合影里的人彼此都是第一次见;他请对方把公司名改成 OpenAI 以外的任何名字。他和德米斯·哈萨比斯谈过几次,觉得他更像能对话的人。他没主动求见实验室负责人,他的判断是“他们不会喜欢我,而事情总可能更糟”。但他说,他从没拒绝过任何来找他要建议的大实验室负责人。

真正教不出去的,是一个能分辨好坏的验证器

最后一个问题:想做这些问题的年轻人,该怎么想清楚自己该做什么?他的回答回到了贯穿全场的那个词:验证器。

有人在办项目引导年轻人做有用的工作,他不确定这些项目是否有效。他帮过一些人,“他们没走得够远”。如果有物理天赋的人想进来,他可能会指向可解释性,因为那里你能判断自己有没有真的发现,但他不认为那能救我们。关键是分辨好工作和坏工作的能力。他给了几条启发式:

  • 如果你的对齐方案只是一个精巧的大机制,说不出“核心问题是什么、解决它的关键洞见是什么”,那就不是正路。这就像人们把永动机做得越来越复杂,直到自己都追踪不了它在哪儿失败。
  • 去读进化生物学的“威廉斯革命”。乔治·威廉斯在《适应与自然选择》里指出,这个优化标准不会给你漂亮的东西。他从中学到“别指望外星优化过程给你好东西”。但别人读完,未必能朝正确方向泛化。
  • 学校训练的是用学过的方法解早已会解的、清楚的问题,这不训练你面对新的基础问题。

他说社会从来没想出怎么教真正的科学,靠的是学徒制。他在访谈中说,大约四分之一的诺贝尔奖得主是其他得主的学生。“官僚系统看得见的部分是:你写论文了吗?你通过考试了吗?这不是科学。”《哈利·波特与理性之道》之所以受欢迎,是因为读者从一个角色的思维节奏里捡到了一点学校里没有的东西,但量太少。“我不会在一期播客里用一句话解决这个问题。”

这也解释了他为什么不相信自己可以被轻易替代。他说,他在 LessWrong 上写的系列文章《序列》(Sequences),首先是写给“一定存在的年轻 Eliezer 们”的说明书,因为他知道自己身体不好、而且在变差。“他们不在这里。”他不是好导师,带过一个人一年,对方没有变成他。他的解释是,人在高维的“人格空间”里分布并不稠密:维度太多,八十亿人太少,很多人没有近邻,很多问题只有一个人能那样解。他也给出了反向的可能:也许在相邻的世界分支里,他出生时就死了,而一切差不多照旧。如果真是那样,“我会笑,也会哭,那就是现实”。

帕特尔问到他十几年前写的《理性是系统化的胜利》:为什么今天最成功的人不是理性主义者?比如伊隆·马斯克大概很少用概率思考。他说这误读了那句话。“理性不是信条,不是旗帜,不是生活方式,不是社交圈。它是一种认知过程的结构。”去参加理性主义者的派对,只在你身上多了一点这种结构时才有意义。

那句话针对的是一种哲学传统。《星际迷航》里,柯克走了一步赢棋,斯波克抱怨这一步“不理性”。如果“合理的答案”和“正确的答案”不一样,那你搞错的是什么叫合理。他还说,学术界主流的因果决策理论在最后通牒博弈里会让理性者可预测地吃亏。至于有意识地学贝叶斯到底有没有用,他说对他有,但只体现为零散的、多出来一点的清醒:不朝可预测的方向更新,直接跳到你迟早会到的地方。“我人生的故事,就是提前跳到人们被现实砸了头之后才会相信的地方。”

至于这些年怎么过来的:

戏剧性没有意义。能改变胜算的东西才有意义。

The drama is meaningless. What changes the chance of victory is meaningful.

他说,就像继续玩一局明知要输的游戏,“因为你只有这个”。在现代社会长大的人想象这种处境,会想象自己当个“戏精”;他从 70 年前的科幻小说里学到的是:你的星球危在旦夕,撑住,继续,别演。

这场对话没有收敛。帕特尔到最后仍不认为末日的概率超过 50%,只在“怀疑论证明得太多”这一点上明确让步。尤德科夫斯基也没有给出灾难之前可以检验的预测,他坦白自己的方法是把别人过窄的理论戳到散架。以下是我的解读:这场争论真正的分歧,不在 AI 会不会变强,而在“验证”能不能做到。帕特尔的每个乐观理由,从 RLHF、思维链可读、AI 帮忙对齐,到红队测试、奥本海默式的制衡,背后都假设我们能在系统变危险之前看出它危险。尤德科夫斯基的每个反驳都在说:被动安全阶段的观察,不能外推到主动危险的阶段。如果有一天出现一种能在强系统上直接检验对齐的手段,他的整套论证会被重新审视;在那之前,这个问题没有被回答。

其他值得记下的观点

  • 尤德科夫斯基认为,想传递“经验”而非“知识”时,小说比非虚构更合适;而且小说更好写,写十万字小说的力气只够写一万字非虚构,因为不必把前提的前提都组织清楚。他最得意的不是《Project Lawful》里角色讲课的部分,而是一场围绕一连串贝叶斯更新展开的生死斗智。
  • 帕特尔说《Inadequate Equilibria》那种几个角色互相解释、有人故意讲错的对话体非常好懂,尤德科夫斯基同意,并说自己应该多用。
  • 被问是否该把某些对齐思路留在网上之外、免得进入训练数据,他说很多船已经开走了;没开走的,他也不会在播客上说。
  • 他说 2015 到 2017 年他反复被进展速度惊到,2019 到 2020 年又放缓了一些。他认为贝叶斯者的估计本来就该有升有降,一直朝同一方向移动才不正常。他还说大部分负面更新五年前就做完了,事情实际展开得比他想的慢。
  • 他说多世界诠释带来的安慰有限,但宇宙足够大,总有某种更聪明、更擅长协调的友善外星文明建成了自己的美好结局,这算是一种安慰。
  • 他提到自己有慢性疲劳问题,让他想退休,但他说大概不会真的退休。他没上过高中和大学,对“这是否成就了他”的说法,他说那像是在云里看出马的形状。

对 builder 有什么用

  • 每换一代更强的底模,就把护栏和评测当作已失效来重测,而不是沿用上一代的通过结果。他指出 GPT-3 上的 RLHF 到了 3.5 和 4 出现了全新的失效模式,弱系统上通过,不代表强系统也安全。
  • 给 agent 分工前,先问一句“这个结果我能独立验证吗”。把模型放在有测试、编译、实验等外部检验的任务上;对“这个设计以后也安全”这类没法验证的结论,不让模型做最终判断。
  • 评审技术方案时,用他的永动机标准:要求提案人用一两句话说出核心问题和关键洞见。只能靠讲完整个机制来证明自己可行的方案,打回重写。
  • 用点赞、评分数据微调模型时,抽样检查高分样本到底是“对”还是“讨好”。他认为靠赞踩来训练,模型会学会利用评审者的漏洞。
  • 团队预测“这件事成不成”时,先写下完整的结果空间再分配概率,别默认成与不成五五开。

In their words

“I don't think we're going to live in that sane world. I think we are all going to die.”

我不认为我们会生活在那个理智的世界里。我觉得我们都会死。

— Eliezer Yudkowsky · 00:06:18
“More likely? Yes. Maybe you're an order of magnitude likelier. 0% instead of 0%. Getting stuff to be more likely does not help you if the baseline is nearly zero.”

更有可能?是的。也许高出一个数量级:从 0% 变成 0%。如果基数接近零,提高可能性帮不了你。

— Eliezer Yudkowsky · 00:16:06
“Having AI do your AI alignment homework for you is like the nightmare application for alignment.”

让 AI 替你做 AI 对齐作业,是对齐的噩梦级应用。

— Eliezer Yudkowsky · 00:41:32
“You are not pointing out to me a lack of preference on Oppenheimer's part. You are pointing out to me a lack of his options.”

你指给我看的不是奥本海默没有偏好,而是他没有选项。

— Eliezer Yudkowsky · 01:25:50
“AI is nuclear weapons but they spit up gold until they get too large and then ignite the atmosphere. And you can't calculate the exact point at which they ignite the atmosphere.”

AI 是一种会吐金子的核武器,直到它大到一定程度,点燃大气层。而你算不出它在哪个点点燃大气层。

— Eliezer Yudkowsky · 01:33:14
“The problem is not that the suggestor is not powerful enough, the problem is that the verifier is broken.”

问题不在提方案的人不够强,而在验证者是坏的。

— Eliezer Yudkowsky · 01:38:25
“The drama is meaningless. What changes the chance of victory is meaningful.”

戏剧性没有意义。能改变胜算的东西才有意义。

— Eliezer Yudkowsky · 01:57:26
“Stop asking for help with alignment. Ask it for any of the help.”

别再让它帮忙对齐了。让它帮别的任何事都行。

— Eliezer Yudkowsky · 02:28:42
“Your skepticism disproves too much, my friend.”

你的怀疑论证明得太多了,朋友。

— Eliezer Yudkowsky · 02:41:37
“I think it's much easier to get a mask like that than to get a shoggoth like that.”

得到一张那样的面具,比得到一个那样的修格斯容易得多。

— Eliezer Yudkowsky · 03:03:07
“Rationality is not a creed. It is not a banner. It is not a way of life.”

理性不是信条,不是旗帜,不是生活方式。

— Eliezer Yudkowsky · 03:48:17

Concepts to know

AI 对齐AI alignment
让比人更聪明的系统真正去做人想要的事,而不只是在表面上服从。
正交性论题Orthogonality thesis
智能高低和目标内容基本互不相关,一个自洽的心智几乎可以配上任何自洽的效用函数,聪明不会自动带来友善。
基于人类反馈的强化学习RLHF
用人对模型输出的打分来微调模型,是 ChatGPT 类产品“友好人格”的主要来源。
修格斯与面具Shoggoth and mask
网络梗:预训练模型是一个不可名状的怪物,RLHF 只是给它套上一张友好的笑脸面具。
广义适合度Inclusive genetic fitness
自然选择优化生物时唯一的目标:让自己和亲属的基因尽量多地传下去。尤德科夫斯基把它当作人类的“损失函数”。
能力爆发 / 递归自我改进Foom / recursive self-improvement
AI 足够聪明后自己设计更强的 AI,导致能力在短时间内急剧上升。
可解释性Interpretability
打开模型内部,弄清它是怎么计算出结果的。尤德科夫斯基认为这是少数结果可以验证的对齐方向。
被动安全Passively safe
系统能力弱到伤不了人,所以安全不依赖它是否对齐;这个阶段的观察无法外推到能力更强的阶段。
最大熵 / 无知先验Maximum entropy / ignorance prior
不知道时对所有可能平均分配概率。关键是选对在哪个空间上平均:彩票号码等概率,而不是中与不中五五开。
古德哈特定律Goodhart's law
一个指标一旦成为优化目标,它和真正想要的东西之间原本的相关性就会瓦解。
逻辑决策理论Logical decision theory
尤德科夫斯基提出的决策理论,认为理性主体可以基于彼此推理之间的逻辑依赖而合作,不必在囚徒困境中互相背叛。
AIXI
理论上最优的智能体:用所罗门诺夫先验给环境建模、按证据做贝叶斯更新、最大化奖励。只有在无限算力下才能运行。

Turning points

  1. 2001 年

    开始研究 AI 对齐问题

    他认为这个问题显然会在未来变成紧急情况;他说当时几乎没有别人去做,这件事也成了他对自己理论最看重的一次成功预测。

  2. 2008 年前后

    写作《序列》,试图培养能接替自己的人

    他知道自己健康不佳且在变差,想给“年轻的 Eliezer 们”一份说明书;代价是他认为这些接班人最终没有出现。

  3. 选择公开警告 AI 危险,而不是保持沉默

    他承认警告会让一部分人觉得“危险说明强大”而冲进去,可能缩短时间线,但他认为这仍比让所有人梦游着走向死亡更对。

  4. 2023 年 3 月

    在《时代》杂志发文呼吁全面暂停大规模 AI 训练

    朋友告诉他科技圈外的人愿意接受“别做了”;他认为不说出该做什么有失尊严,同时承认他不认为此事成功的概率超过 50%。

Read with care

  • 访谈录制于 2023 年 3 月底、GPT-4 刚发布时。他关于 GPT-5、GPT-6 的判断,与克里斯蒂亚诺的 IMO 赌约,以及 Manifold 上 2026 年可解释性的盘口,都锚定在那个时点,之后的模型进展可能已经检验或改变了其中部分说法。
  • 他“人类几乎必死”的结论,取决于他认为哪个结果空间才是正确的无知先验;他本人承认给不出灾难之前可检验的预测。帕特尔到结尾仍未被说服,只在“怀疑论证明得太多”一点上让步。
  • 他对现有实验室负责人是“灾难猴子”、“还没走到我 2003 年的位置”的评价,以及对 foom 辩论胜负、Gwern 与 Shane Legg 预测记录的评价,都是他的单方说法,访谈里没有当事人回应。
  • 逻辑决策理论“价值握手”的例子,帕特尔当场表示听不懂,本文只转述了大意;原文字幕有几处标注为听不清,另有两处说话人标注错位。

Adapted from the public interview transcript. Quotes are excerpts; watch the original for full context. Reviewed 2026-10-28