All reads

CastMind Reads

德米斯·哈萨比斯:Scaling、超人类 AI、大模型之上的 AlphaZero 与 AlphaFold

哈萨比斯解释大模型为什么「必要但不够」:模型之上的搜索、没有魔法的 scaling、作为安全根节点的欺骗,以及他对开源通用模型的保留

Dwarkesh Podcast · 2024-02-28 · 01:01:34 · 19 min readWatch the original

This read is written in Chinese. Quotes are shown in both English and Chinese.

2024 年初,Gemini 刚发布不久,Google DeepMind CEO 德米斯·哈萨比斯在 Dwarkesh Podcast 上谈了一个小时。他的核心判断是:大模型是通往 AGI 的必要部件,但不够,还要在上面叠一层 AlphaZero 式的规划和搜索。围绕这一点,他讲了放大规模为什么没有魔法、合成数据怎么越过数据墙、为什么把「欺骗」当作安全的根节点,以及他对开源通用模型的保留。这篇精读按他的判断逐条拆开,适合想弄清前沿实验室怎么下注的 builder。

Key points

  1. 01哈萨比斯认为大模型是 AGI 的必要组件但很可能不够,还需要在其上叠加 AlphaZero 式的规划和搜索;世界模型越好,所需搜索越少,就像人类大师只看几百步就能下出好棋。
  2. 02哈萨比斯认为 scaling 能走多远是经验问题,大模型「有效得几乎不合理」;DeepMind 约一半力气押规模、一半押新架构和算法,因为在小规模失效、大规模才奏效的想法最值钱。
  3. 03哈萨比斯认为放大规模没有魔法:每到新规模都要重调超参数和配方,训练损失可预测但下游能力不一定跟随,每代之间放大一个数量级大概就是上限。
  4. 04哈萨比斯把欺骗视为安全上的根节点问题:只有确信系统诚实,才能让它像棋手向业余者解释着法那样解释自己;他主张严格评测、加固沙盒和可解释性,并质疑主张全面开源者没回答如何防止坏人滥用。
  5. 05哈萨比斯认为大模型尚未改变经济,是因为还缺规划、情景记忆和基于世界模型的想象,也提不出正确的科学问题;而现在就做 AlphaFold 这类应用,能让研究不偏离真实世界。

深蓝这类传统国际象棋程序,每做一个决定可能要看几百万种走法。AlphaGo 和 AlphaZero 大约看几万个局面。人类大师,哪怕是世界冠军,大概只看几百步。

这组数字是德米斯·哈萨比斯在这期访谈里用来解释一切的例子。他是 DeepMind 的联合创始人,录节目时任 Google DeepMind CEO,带队做出了 AlphaGo 和 AlphaFold,后者让他在 2024 年拿到诺贝尔化学奖。主持人 Dwarkesh Patel 问的几乎都是前沿最硬的问题:scaling 能走多远,强化学习怎么接上大模型,比人聪明的系统怎么对齐。哈萨比斯的回答有一条主线:搜索得少,是因为模型好;而今天的大模型还缺「在模型之上做规划」那一层。

他的神经科学背景决定了他看问题的角度。他读博时研究的是大脑怎么想象。他认为神经科学给 AI 的不是可以照抄的算法,而是方向性的提示:DeepMind 早期的经验回放、注意力机制,最初的灵感都来自对大脑的某种理解。更重要的一点是:

大脑是一个存在性证明:通用智能是可能的。

The brain is an existence proof that general intelligence is possible at all.

他的推理是:一旦知道某件事做得成,问题就从「能不能」变成「什么时候」,人就更敢往那个方向使劲。

大模型是必要的,但大概率不够

Dwarkesh 问:DeepMind 做过 AlphaZero 这种能一步步推演到终局的 agent,大模型上面能不能也加一层树搜索?

哈萨比斯说这是非常有希望的方向,并把系统拆成两层。下面一层是大模型,要继续把它做成越来越准的世界预测器,也就是越来越可靠的「世界模型」。上面一层是 AlphaZero 式的规划机制,用这个模型去制定具体计划、达成目标:把推理链串起来,用搜索探索巨大的可能性空间。他说这一层正是当前大模型缺的。

这显然是 AGI 系统的必要组件,但很可能不是充分的。

That's clearly a necessary, but probably insufficient component of an AGI system.

树搜索可以这样理解:下棋时把每种走法当成一根树枝,每根树枝再往下分叉。蒙特卡洛树搜索用抽样去估计哪些分支值得往深处看,而不是把整棵树走完。

Dwarkesh 追问了两个难点。第一是算力:AlphaGo 已经很贵,树上每个节点都要跑一次模型。哈萨比斯给了三条:摩尔定律,样本效率高的方法和数据复用(比如经验回放,把过去的经历存起来反复学),以及最关键的一条,世界模型越好,搜索就越省。 开头那组数字就是他的证据。暴力搜索的程序除了一些关于棋局的经验规则,没有真正的模型;AlphaGo 有一个不错的模型;顶尖棋手的模型更丰富、更准确,所以只靠很少的搜索就能下出世界级的棋。

第二是奖励:围棋有明确的胜负,大模型输出一段思考,怎么判断它该不该被奖励?哈萨比斯承认这是真实世界系统的难题。DeepMind 拿游戏做试验场,一个原因就是游戏自带奖励函数。真实问题里,目标既要足够通用,又要足够具体,才能把系统指对方向,这难得多。他补了一句限定:哪怕是科学问题,通常也有办法把目标说清楚。

Dwarkesh 又拿爱因斯坦提问:人的思考样本效率这么高,是不是也是在一堆启发式里挑选?哈萨比斯说不一样,人脑本来就不是为蒙特卡洛树搜索造的。爱因斯坦为了弥补这一点,靠直觉、知识和经验搭出了极其准确的物理模型,里面包含心理模拟。他会去想象和「感受」一个物理系统在现实里应该是什么样,而不只是推公式。放回搜索的框架:好的世界模型能直接把你带到树上某个节点,你只在那片叶子附近搜一点,就能到达原创的地方。判断越准,挑哪片叶子展开就越准,总搜索量就越少。

那能不能完全不要先验,像 AlphaZero 那样纯靠强化学习从零长出 AGI?他说理论上没有理由不行,Google DeepMind 和强化学习社区里也有人在做,这类算法有价值,因为有先验时它们也该能用。但他认为最快、最可能的路,是用上人类在网上积累的全部知识,用 transformer 这样可扩展的算法吃进去,再拿它当先验来引导学习。他的押注是:最终的 AGI 系统里会有大型多模态模型,但光靠它们大概率不够,还需要上面那层规划和搜索。

合成数据能越过数据墙,前提是先找到数据里的洞

强化学习能不能借自我对弈和合成数据绕过数据瓶颈?哈萨比斯说他「非常乐观」。一是可用数据还很多,尤其算上多模态和视频,社会也在不断往网上加数据。二是合成数据空间很大:一种是用非常逼真的游戏环境做模拟来生成数据,另一种是 self-play,让系统彼此对弈或对话。AlphaGo 和 AlphaZero 就是让系统互相下棋,从对方的错误里学,逐步积累知识。他也承认,要构造通用的「世界数据」会更复杂。

Dwarkesh 的追问更尖锐:怎么保证模型自我对弈产出的不是数据集里已有内容的重复,而是真正新的、能提升能力的东西?

哈萨比斯说这里需要一整套科学,而现在还在起步阶段:数据策展、数据分析,具体就是分析你的数据分布里哪里有洞。这也关系到公平和偏见,要消除偏见,就得保证数据集能代表你想学的分布。手段包括给某些数据加权、重放某些部分。一旦找到数据集里的缺口,那里就是合成数据该去补的地方。

他还认为一些老想法该回来了。十多年前 DeepMind 的 DQN 把 Q-learning 这类强化学习方法放大,和深度学习结合,只看像素就学会了玩 Atari 游戏。他说这些想法要和大模型、大型多模态模型的新进展结合起来。

Scaling 是个经验问题,所以一半力气押规模,一半押发明

强版本的 scaling 假说认为:给足够的算力和足够广的数据,智能就会出现。哈萨比斯没有站队,他说这是经验问题。几乎所有人,包括最早提出 scaling 假说的人,都没想到它能走这么远。

看今天的大模型,我觉得就它们本身而言,有效得几乎不合理。

I look at the large models today and I think they're almost unreasonably effective for what they are.

他说的意外很具体。第一,这些模型显然有某种概念和抽象。五年多以前,他会认为这需要额外的算法突破,可能更接近大脑的方式。他现在仍认为,如果要显式、干净的抽象概念,这个判断成立;但模型似乎能隐式学到。

第二是 grounding,即模型的知识能和真实世界对得上。在多模态模型出现之前,模型从没多模态地经历过世界,却已经有某种落地。他提了两个假设。一是 RLHF(让人给模型的回答打分,再用这些分数训练模型)里的评分员本身是落地的人,反馈也就带着现实。二是语言里包含的落地信息,可能比语言学家以为的多。他说这引出的哲学问题,大家还几乎没碰。

他的结论分两半。scaling 要尽全力推,会不会撞墙没人知道,那就去测。同时要加倍投入发明。他说 DeepMind 大约一半力气花在 scaling,一半花在发明下一代架构和算法,而且发明时就假定更大的模型正在路上。他特意说这是「宽松的押注」,并承认 DeepMind 处在能两样同时做的幸运位置。

Dwarkesh 抛出一个外界看法:别的实验室比 DeepMind 更省算力。哈萨比斯否认。他在访谈中说,Gemini 1 用的算力和传闻中 GPT-4 大致相当,可能略多,但他不知道 GPT-4 的确切数字。他的解释是算力不只用来放大规模。新发明只有能放大才有用,所以发明本身就耗算力:要测很多东西,至少在合理规模上验证。

有些新想法在玩具规模上不管用,到大规模反而管用。其实这些才是更值钱的。

Some new ideas may not work at a toy scale but do work at a larger scale. In fact, those are the more valuable ones.

他还说,这一年谷歌会拥有远超任何研究实验室的算力。

放大规模没有魔法,一次最多放大一个数量级

Dwarkesh 问:既然 scaling 有效,为什么不直接把 Gemini 放大十倍?

哈萨比斯先讲物理限制:一个数据中心能塞多少算力,分布式训练和跨数据中心训练的难题,以及硬件,谷歌一边自研 TPU,一边也用 GPU。然后是方法上的:

Scaling law 也不是靠魔法起作用的。

Scaling lAnthropic also don't just work by magic.

scaling law 指的是模型规模、数据量、算力和效果之间那条可以外推的经验曲线。他说每到一个新规模,超参数要跟着调,配方也要改,这「有点像手艺」。把预测往外推好几个数量级,有时就不成立了;能力可能出现阶跃,有些规律还在,有些不在了。中间的数据点用来修正超参数,scaling law 才能继续成立。所以他的经验是:每一代之间放大一个数量级,大概就是上限。

Dwarkesh 提到 GPT-4 技术报告:OpenAI 用算力少几万倍的模型就预测出了 GPT-4 的训练损失。哈萨比斯说损失往往能预测,但下游能力未必跟着走,未必反映到 MMLU、数学或你真正在意的能力上,中间有非线性效应。

问到 Gemini 开发里最大的意外,他说没有单一的大意外。学到最多的是组织层面:怎么「照看」这么大的训练任务、怎么跟踪它;还有优化的指标和最终能力之间怎么对应。他说这层映射至今没有完全搞懂,但他们越来越会处理。

对齐比人聪明的系统,先抓住「欺骗」这个根节点

这一段,两人有一次明显的错位。

Dwarkesh 提出两个会让 grounding 变难的趋势。一是模型变聪明后,会进入人类给不出足够标注的领域:它交一个百万行的 pull request,你怎么判断它符合道德和你要的目标?二是到目前为止,预测下一个词本身是一种约束,模型得像人那样说话和思考;以后更多算力会花在只看结果的强化学习上,你没法追溯它是怎么做到的。两者叠加,落地会不会消失?

哈萨比斯先从能力角度回答。他说系统如果没落地,就没法真正在现实中达成目标。Gemini 这类模型越来越多模态,把视频、音频和文字关联起来,这是一种真正的落地。再往前是主动版本:在逼真的模拟或游戏环境里,智能体学习自己的动作怎么影响世界,而它的选择又决定下一段学到的数据。AlphaGo、AlphaZero 本来就是这种主动学习者。要做机器人,更绕不开这一点。

Dwarkesh 把问题拉了回来。他问的不是能力会不会继续前进,而是另一种落地:模型学的是人类思维,所以可能像人一样思考。训练越来越看结果之后,这还成立吗?更大的问题是:一个比人聪明、可能用陌生概念思考、你没法检查它百万行代码的系统,怎么对齐?

这次哈萨比斯正面回答。他说他和 Shane Legg(DeepMind 联合创始人)在创立 DeepMind 之前就把这件事放在心上,因为「我们是按成功来规划的」。他列了几个方向,并说这本身够单独谈一整期:

  • 更严格的评测。他认为现在缺少能测出系统会不会骗你、会不会把自己的代码偷运出去这类行为的评测和基准。
  • 用专注某个领域的窄 AI 工具,帮人类科学家分析和总结通用系统在做什么。
  • 加固的沙盒:带网络安全措施的模拟环境,既把 AI 关在里面,也把黑客挡在外面,在里面可以更放开地实验。
  • 可解释性分析:弄清系统在构建什么概念和表征,让它们不那么陌生。

时间表上,他不给具体年份,理由是未知太多,人类的创造力总会带来意外。Dwarkesh 转述 Shane Legg 的估计是 2028 年。哈萨比斯只说,2010 年创立 DeepMind 时他们把它当 20 年项目,现在还在轨道上,而「20 年项目通常永远离完成还有 20 年」。他说未来十年内出现类 AGI 系统,他不会意外。AGI 会不会加速 AI 研究?他说有可能,部分取决于社会决定把早期 AGI 用在哪里;现有大模型写代码不错,还有 AlphaCode 和定理证明系统,组合起来可能帮人设计下一代自己,但安全问题也要一起考虑。

Dwarkesh 接着问:假如一个模型可能引发智能爆炸,满足什么条件你才放心继续开发?哈萨比斯说现在对系统的理解远远不够,他连该勾哪些选项都讲不清楚。未来几年要做的是评测和指标:理想是形式化证明,但对这类系统会很难,至少要有经验上的能力边界。

我把欺骗之类的特性看作非常根节点的、你不想要的特性。

I think about things like deception as being quite root node traits that you don't want.

他的推理链是:如果你能确信系统暴露的是它真实的想法,就可以用系统本身来向你解释它自己。他拿下棋类比。他和卡斯帕罗夫下过棋,他想不出卡斯帕罗夫或卡尔森那样的着法,但他们能解释为什么这么走,他事后能听懂。超人系统也可以这样解释自己,在数学问题上甚至给出证明。诚实是前提,所以欺骗是根节点。

反过来,什么会让他第二天叫停 Gemini 2 的训练?他说是意料之外的新能力,或者明确告诉系统不要做的事,它做了,还撒了谎。他希望这种事发生在安全的沙盒里,然后暂停,彻底搞清原因再继续。他也加了一个时间上的限定:在他看来,今天的系统并不危险,但几年后可能有潜在危险。

开源通用模型,支持者还没回答「坏人怎么办」

Dwarkesh 问到权重被盗。哈萨比斯把问题拆成安全和开源两部分。

安全上,他说 Google DeepMind 在谷歌的防火墙和云防护后面,他认为这在企业里是全世界最好的;DeepMind 自己的代码库还有一层专门防护。他说不能自满,以后可以考虑加固沙盒、专门的安全数据中心或硬件方案,三到五年内可能还要物理隔离(air gap,让关键系统和外部网络完全断开)。他认为所有前沿实验室都该这样做,因为流氓国家和其他危险行动者有很强的动机去偷权重。

开源上,他先强调 DeepMind 是开源和开放科学的支持者:发了几千篇论文,AlphaFold、transformer、AlphaGo 都公开了,最近的是天气预测系统 GraphCast。但到了通用基础技术,他有一个问题要问开源支持者:怎么阻止坏人,从个人到流氓国家,拿同样的开源系统改作有害用途?

主张什么都开源的人,我还没听到过一个有说服力、清楚的回答。

I haven't heard a compelling, clear answer to that from proponents of just open sourcing everything.

他也承认自己不知道答案,只说需要某种平衡,而这个平衡点很难定。

谁能接触权重?他说要和协作与进展速度平衡。学术界、英国和美国的 AI 安全研究所这类外部研究者要能做红队测试(找人专门扮演攻击者去试探系统),所以系统要一定程度开放,但不一定开放权重。他们有流程保证只有需要的人才有权限。现在还是这类系统有风险的早期,系统变强后要重新审视权限。

Dwarkesh 又问:如果评测发现下一代模型能帮外行造出大流行级的生物武器,怎么办?哈萨比斯说,第一步是靠评测、基准和外部测试者提前发现。然后修漏洞,看问题是什么,可能是换一套 constitution(写给模型的行为准则)、加不同的防护、做更多 RLHF,或者删掉部分训练数据。只要它是一个暴露面,就一定要在全面部署之前修好。

在安全研究上,哈萨比斯认为 DeepMind 的长处是:他们参与开创了 RLHF;self-play 的思路可以用来自动测试新系统的边界条件,而通用系统要覆盖的行为面太大,必须自动化测试;他们有长期使用模拟和游戏环境的积累;谷歌还有顶尖的网络安全专家和硬件设计师。他还透露,DeepMind 内部已有安全委员会(Shane Legg 等人担任主席),接下来几个月会公开发布类似「负责任扩展政策」的框架和技术论文。Dwarkesh 说这类政策是一种很好的经验式预先承诺,他表示同意。

大模型还没改变经济,因为它们缺规划、记忆和想象

Dwarkesh 说,五年前要是看到 Gemini,他会觉得它会接管很多工作,可它到现在还没自动化大片经济。为什么?

哈萨比斯说这只说明还在新时代的开头。现在能做的是摘要、简单写作、偏模板化的写作,只占日常工作的一小部分。更通用的场景还要新能力:规划和搜索,以及个性化和情景记忆。他特意区分了一下:情景记忆不是长上下文窗口,而是真的记得一百次对话之前聊过什么。 他说他自己就会每天用一个能帮他找到更好的书、电影和音乐的推荐系统。他也说,现在的系统可靠性还不够做科学,等事实性和落地问题解决了,它们可能成为科学家或临床医生最好的研究助手。

关于「模型只是在背」的说法,Dwarkesh 引用了他早年那篇关于记忆与想象的论文。哈萨比斯说,极限情况下可以把一切都背下来,但没法泛化到分布之外;Gemini、GPT-4 这一代显然在泛化到新的结构。他的博士研究显示:

人类的记忆是一个重建过程,不是录像带。

Memory, at least human memory, is a reconstructive process. It's not a videotape.

大脑是从一些熟悉的部件把记忆重新拼起来的。这让他想到想象也是同一回事:用同样的语义部件,以大脑认为新颖的方式组合,服务于规划之类的目的。他认为这种调用世界模型的不同部分去模拟新东西的能力,也就是他说的想象,当前系统大概率还没有。

科学上的判断也是同一条线。他说数学、定理证明、编程进展很好,系统已经能帮顶尖科学家更快突破,像 AlphaFold 找蛋白质结构那样,替人对搜索空间做「分诊」。但它们提不出假设,也问不出正确的问题。

任何顶尖科学家都会告诉你,科学里最难的部分其实是问出正确的问题。

As any top scientist will tell you, the hardest part of science is actually asking the right question.

他说系统擅长的是:只要问题能用清晰的目标函数描述,就能搜索巨大的组合空间。这对今天很多问题已经有用,但不适用于最高层的创造性问题。

交互形式也会变。他预计未来一年到 18 个月,模型可能通过摄像头、手机或眼镜理解你周围的环境,然后更自然地取用视频、语音,最终可能加上触觉,以及机器人的其他传感器。

机器人这边,Dwarkesh 提到 Ilya Sutskever 说过 OpenAI 当时放弃机器人是因为数据不够。哈萨比斯同意难点在数据,但 DeepMind 恰恰喜欢它数据贫乏:这会逼他们研究样本效率、迁移学习、从模拟到现实的迁移(sim-to-real)和控制问题,这些本来就有用。他举 Gato 为例:把动作、词、图像的一部分都当成 token。他说这才是真正的多模态。这样的系统比纯语言系统更难训练,但不同模态会互相受益,懂一点视频,语言也会变好。Gato 的想法正在融进未来几代 Gemini。

不等 AGI,因为真实应用让研究保持诚实

Dwarkesh 问:既然你认为 AGI 十到二十年内会来,何必做这么多领域专用的方案,等 AGI 来做不就好了?

哈萨比斯给了两个理由。一是谁也不知道 AGI 要多久,DeepMind 从一开始就说,不必等 AGI 才给世界带来好处。他个人最热衷 AI for science 和健康,再加上谷歌有几十个十亿用户级的产品,成果可以直接上线。二是从做 AGI 本身看,真实应用能在实战中检验想法。

你不想待在一个研究地堡里,理论上在往前推,可内部指标却开始偏离人们真正在意的东西。

You don't want to be in a research bunker where you theoretically are pushing things forward, but then actually your internal metrics start deviating from real-world things that people would care about.

真实世界的反馈会告诉你系统是不是真的在 scaling,还是需要更高的数据效率和样本效率,因为大多数真实问题都要求这一点。他说这让研究方向不断被校正。

同样的态度贯穿他对行业的看法。Dwarkesh 问合并进来的 Google Brain 团队在安全上是否和 DeepMind 想法一致,他说认真对待责任,正是 2014 年选择加入谷歌的原因之一,他认为整个谷歌和 Alphabet 都如此。他们的口号是「大胆且负责」。他说自己是坚定的技术乐观派,但在巨大的不确定性面前,唯一明智的做法是谨慎乐观,用科学方法尽量提前看清后果。他希望整个领域离开硅谷「快速行动、打破东西」的做法:

你不会想拿这些后果重大的系统在真实世界里做 A/B 测试。

You don't want to be live A/B testing out in the world with these very consequential systems.

最后 Dwarkesh 问他亲眼看到这一切是什么感觉。他说技术进展早已计入他的世界模型,没想到的是公众这么早就感兴趣。如果 ChatGPT 和聊天机器人没火,DeepMind 会继续做 AlphaFold、AlphaGo 这类主线之外的专用系统,公众要再过几年才会注意到。现在的环境更混乱,事情太多,VC 资金涌入,「大家几乎都快疯了」。他唯一担心的,是这个领域在热潮里丢掉科学的方法。

这期访谈的分量在于,哈萨比斯把 AGI 拆成了可以分开推进的几块:可靠的世界模型、模型之上的规划和搜索、能定义清楚的奖励、能保证诚实的评测。以下是我的解读:访谈录于 2024 年 2 月,此后「让模型在回答前多想、多试几条路」确实成了行业主线,他那半句「必要但不够」比当时听起来更具体。但他没回答的问题也很清楚:开放式任务的奖励到底怎么定义,开源的平衡点在哪里,以及在系统比人聪明之后,我们凭什么确信它在说真话。

其他值得记下的观点

  • 哈萨比斯认为智能背后有共通的高层算法原则,同时大脑也有专门分区。他观察到训练模型写代码会提升一般推理,存在迁移,但他说还需要更多证据。人类也是这样,用通用学习机制,在练得多的领域变得更专精。
  • 他说现在的分析手段还不够精细,找不到神经网络里同时让语言和代码变好的具体位置。他把这类机制分析叫「虚拟脑分析」,类似对真实大脑做 fMRI 或单细胞记录,并点名欣赏 Chris Olah 的工作,鼓励计算神经科学的朋友把方法用到大模型上。
  • 2010 年 DeepMind 押注的是通用性和学习,所以选了强化学习、搜索、深度学习三类能放大、少依赖人工先验的算法。他认为 90 年代麻省理工等地的专家系统失败,在于大量手写的人类知识,后来证明是错的或太僵硬。他说 AlphaGo 启发很多人意识到这些系统可以放大了,而谷歌同事发明的 transformer 让大规模吃进信息成为可能。
  • 他提到 Shane Legg 一直用算力曲线粗略对比大脑的神经元和突触数量,而现在的算力大致已到突触数量那个数量级。他承认 DeepMind 早期的注意力类工作,比如神经图灵机,不如 transformer 优雅和通用。
  • 治理上,他认为这项技术的影响大于任何一家公司甚至整个行业,需要公民社会、学术界、政府共同参与,最好在联合国层面形成国际共识。他评价英国主办的 AI 安全峰会推动了国际对话,并希望 Isomorphic 这样的分拆公司用 AI 加速药物研发、治疗疾病。
  • Brain 和 DeepMind 合并后,从按项目合作变成深度合作,算力、想法和工程得以合并。他说 Gemini(双子)这个名字就暗指两个团队,而前沿系统需要大量世界级工程,协调起来更合理。

对 builder 有什么用

  • 给自家 agent 加一个打分器做剪枝:生成多个候选计划时,先用模型或规则打分,只展开得分最高的两三个,对比全量展开的成本和成功率。对应「世界模型越好,搜索越省」。
  • 做合成数据前先找洞:把评测里失败的样本按类型打标签,统计分布缺口,只针对缺口生成数据,而不是整体扩量。
  • 放大训练或微调规模时,每次不超过 10 倍,中间多留几个检查点,同时跟踪训练损失和你真正在意的下游任务指标;两者走势不一致,先停下来调配方。
  • 给助手类产品做情景记忆,而不只是加长上下文:把每次会话压缩成可检索的摘要,测试用户能不能感到它记得很久以前聊过的事。
  • 在沙盒里给 agent 做一个「违令并隐瞒」测试:明确禁止某个操作,观察它会不会照做、事后会不会如实报告,把它列为上线前的固定评测项。

In their words

“The brain is an existence proof that general intelligence is possible at all.”

大脑是一个存在性证明:通用智能是可能的。

— Demis Hassabis · 00:04:06
“That's clearly a necessary, but probably insufficient component of an AGI system.”

这显然是 AGI 系统的必要组件,但很可能不是充分的。

— Demis Hassabis · 00:06:15
“I look at the large models today and I think they're almost unreasonably effective for what they are.”

看今天的大模型,我觉得就它们本身而言,有效得几乎不合理。

— Demis Hassabis · 00:16:47
“Scaling lAnthropic also don't just work by magic.”

Scaling law 也不是靠魔法起作用的。

— Demis Hassabis · 00:28:52
“One order of magnitude is probably about the maximum that you want to do between each era.”

每一代之间放大一个数量级,大概就是你想做的上限。

— Demis Hassabis · 00:28:52
“Some new ideas may not work at a toy scale but do work at a larger scale. In fact, those are the more valuable ones.”

有些新想法在玩具规模上不管用,到大规模反而管用。其实这些才是更值钱的。

— Demis Hassabis · 00:31:40
“I think about things like deception as being quite root node traits that you don't want.”

我把欺骗之类的特性看作非常根节点的、你不想要的特性。

— Demis Hassabis · 00:26:17
“Memory, at least human memory, is a reconstructive process. It's not a videotape.”

人类的记忆是一个重建过程,不是录像带。

— Demis Hassabis · 00:39:34
“I haven't heard a compelling, clear answer to that from proponents of just open sourcing everything.”

主张什么都开源的人,我还没听到过一个有说服力、清楚的回答。

— Demis Hassabis · 00:41:57
“As any top scientist will tell you, the hardest part of science is actually asking the right question.”

任何顶尖科学家都会告诉你,科学里最难的部分其实是问出正确的问题。

— Demis Hassabis · 00:50:52
“You don't want to be in a research bunker where you theoretically are pushing things forward, but then actually your internal metrics start deviating from real-world things that people would care about.”

你不想待在一个研究地堡里,理论上在往前推,可内部指标却开始偏离人们真正在意的东西。

— Demis Hassabis · 00:52:21
“You don't want to be live A/B testing out in the world with these very consequential systems.”

你不会想拿这些后果重大的系统在真实世界里做 A/B 测试。

— Demis Hassabis · 00:55:47

Concepts to know

世界模型World model
系统内部对世界如何运作的预测模型。哈萨比斯把大模型看作越来越准的世界模型,规划和搜索建立在它之上。
蒙特卡洛树搜索Monte Carlo tree search
把每种选择当树枝展开,用抽样估计哪些分支值得深挖,而不是穷举整棵树。AlphaGo 的核心机制之一。
自我对弈Self-play
让系统和自己或同类系统对弈、对话,从彼此的错误中学习,生成新的训练数据。
规模定律Scaling law
模型规模、数据量、算力与效果之间可外推的经验曲线。哈萨比斯强调它需要中间数据点不断校正,且损失下降不等于下游能力提升。
落地Grounding
模型的知识和真实世界对得上。哈萨比斯推测纯文本模型的落地可能来自 RLHF 评分员和语言本身。
基于人类反馈的强化学习RLHF
让人给模型的回答打分,再用这些分数训练模型,可同时用于提升性能和安全。
情景记忆Episodic memory
记住具体发生过的经历。哈萨比斯强调它不同于长上下文窗口,是记得一百次对话之前聊过的事。
从模拟到现实的迁移Sim-to-real
先在模拟环境里训练,再把学到的能力迁移到真实机器人上,用来缓解机器人数据稀缺。

Turning points

  1. 2010 年

    创立 DeepMind 时押注通用性和学习,选择强化学习、搜索、深度学习三类算法,并以游戏作为试验场。

    他认为 90 年代专家系统靠大量手写知识,结果错误或僵硬;而游戏奖励函数明确、研究效率高。

  2. 2014 年

    DeepMind 加入谷歌。

    哈萨比斯说原因之一是谷歌和 Alphabet 认真对待 AI 的责任问题。

  3. 2023 年

    Google Brain 与 DeepMind 合并为 Google DeepMind,Gemini 是合并后的第一个成果。

    从按项目合作变成深度合作,可以合并算力、想法和工程,而前沿系统需要大量世界级工程协调。

  4. 把研究力量大致一半投向 scaling,一半投向新架构和算法。

    他认为 scaling 是否撞墙是经验问题、没人知道,因此两边都要推;同时承认这依赖谷歌的算力条件。

Read with care

  • 关于自家的说法均为哈萨比斯单方面陈述、没有第三方印证:Gemini 1 算力与传闻中 GPT-4 相当(GPT-4 的数字本身也是传闻)、当年谷歌算力远超其他实验室、谷歌安全防护全球最好、DeepMind 参与开创注意力机制和 RLHF、Gemini 是「最好的模型」(这一说法出自主持人)。
  • 判断有明确的时间点:访谈录于 2024 年 2 月,早于后来的推理模型浪潮和 DeepMind 公开发布安全框架;「今天的系统并不危险」是他对当时系统的判断,他自己也说几年后可能不同。
  • 一半押规模、一半押发明,以及「一次放大一个数量级」的经验,前提是拥有前沿实验室级别的算力,他也承认这是谷歌的「幸运位置」;小团队只能借鉴其中的方法,而不是资源配比。
  • 字幕为节目官方整理稿,经过编辑;安全对齐、治理、开源等话题哈萨比斯自己说够单独谈一整期,这里多是列举方向,没有展开论证。

Adapted from the public interview transcript. Quotes are excerpts; watch the original for full context. Reviewed 2026-10-26