CastMind Reads
德米斯·哈萨比斯:Scaling、超人类 AI、大模型之上的 AlphaZero 与 AlphaFold
哈萨比斯解释大模型为什么「必要但不够」:模型之上的搜索、没有魔法的 scaling、作为安全根节点的欺骗,以及他对开源通用模型的保留
This read is written in Chinese. Quotes are shown in both English and Chinese.
2024 年初,Gemini 刚发布不久,Google DeepMind CEO 德米斯·哈萨比斯在 Dwarkesh Podcast 上谈了一个小时。他的核心判断是:大模型是通往 AGI 的必要部件,但不够,还要在上面叠一层 AlphaZero 式的规划和搜索。围绕这一点,他讲了放大规模为什么没有魔法、合成数据怎么越过数据墙、为什么把「欺骗」当作安全的根节点,以及他对开源通用模型的保留。这篇精读按他的判断逐条拆开,适合想弄清前沿实验室怎么下注的 builder。
Key points
- 01哈萨比斯认为大模型是 AGI 的必要组件但很可能不够,还需要在其上叠加 AlphaZero 式的规划和搜索;世界模型越好,所需搜索越少,就像人类大师只看几百步就能下出好棋。
- 02哈萨比斯认为 scaling 能走多远是经验问题,大模型「有效得几乎不合理」;DeepMind 约一半力气押规模、一半押新架构和算法,因为在小规模失效、大规模才奏效的想法最值钱。
- 03哈萨比斯认为放大规模没有魔法:每到新规模都要重调超参数和配方,训练损失可预测但下游能力不一定跟随,每代之间放大一个数量级大概就是上限。
- 04哈萨比斯把欺骗视为安全上的根节点问题:只有确信系统诚实,才能让它像棋手向业余者解释着法那样解释自己;他主张严格评测、加固沙盒和可解释性,并质疑主张全面开源者没回答如何防止坏人滥用。
- 05哈萨比斯认为大模型尚未改变经济,是因为还缺规划、情景记忆和基于世界模型的想象,也提不出正确的科学问题;而现在就做 AlphaFold 这类应用,能让研究不偏离真实世界。
深蓝这类传统国际象棋程序,每做一个决定可能要看几百万种走法。AlphaGo 和 AlphaZero 大约看几万个局面。人类大师,哪怕是世界冠军,大概只看几百步。
这组数字是德米斯·哈萨比斯在这期访谈里用来解释一切的例子。他是 DeepMind 的联合创始人,录节目时任 Google DeepMind CEO,带队做出了 AlphaGo 和 AlphaFold,后者让他在 2024 年拿到诺贝尔化学奖。主持人 Dwarkesh Patel 问的几乎都是前沿最硬的问题:scaling 能走多远,强化学习怎么接上大模型,比人聪明的系统怎么对齐。哈萨比斯的回答有一条主线:搜索得少,是因为模型好;而今天的大模型还缺「在模型之上做规划」那一层。
他的神经科学背景决定了他看问题的角度。他读博时研究的是大脑怎么想象。他认为神经科学给 AI 的不是可以照抄的算法,而是方向性的提示:DeepMind 早期的经验回放、注意力机制,最初的灵感都来自对大脑的某种理解。更重要的一点是:
大脑是一个存在性证明:通用智能是可能的。
The brain is an existence proof that general intelligence is possible at all.
他的推理是:一旦知道某件事做得成,问题就从「能不能」变成「什么时候」,人就更敢往那个方向使劲。
大模型是必要的,但大概率不够
Dwarkesh 问:DeepMind 做过 AlphaZero 这种能一步步推演到终局的 agent,大模型上面能不能也加一层树搜索?
哈萨比斯说这是非常有希望的方向,并把系统拆成两层。下面一层是大模型,要继续把它做成越来越准的世界预测器,也就是越来越可靠的「世界模型」。上面一层是 AlphaZero 式的规划机制,用这个模型去制定具体计划、达成目标:把推理链串起来,用搜索探索巨大的可能性空间。他说这一层正是当前大模型缺的。
这显然是 AGI 系统的必要组件,但很可能不是充分的。
That's clearly a necessary, but probably insufficient component of an AGI system.
树搜索可以这样理解:下棋时把每种走法当成一根树枝,每根树枝再往下分叉。蒙特卡洛树搜索用抽样去估计哪些分支值得往深处看,而不是把整棵树走完。
Dwarkesh 追问了两个难点。第一是算力:AlphaGo 已经很贵,树上每个节点都要跑一次模型。哈萨比斯给了三条:摩尔定律,样本效率高的方法和数据复用(比如经验回放,把过去的经历存起来反复学),以及最关键的一条,世界模型越好,搜索就越省。 开头那组数字就是他的证据。暴力搜索的程序除了一些关于棋局的经验规则,没有真正的模型;AlphaGo 有一个不错的模型;顶尖棋手的模型更丰富、更准确,所以只靠很少的搜索就能下出世界级的棋。
第二是奖励:围棋有明确的胜负,大模型输出一段思考,怎么判断它该不该被奖励?哈萨比斯承认这是真实世界系统的难题。DeepMind 拿游戏做试验场,一个原因就是游戏自带奖励函数。真实问题里,目标既要足够通用,又要足够具体,才能把系统指对方向,这难得多。他补了一句限定:哪怕是科学问题,通常也有办法把目标说清楚。
Dwarkesh 又拿爱因斯坦提问:人的思考样本效率这么高,是不是也是在一堆启发式里挑选?哈萨比斯说不一样,人脑本来就不是为蒙特卡洛树搜索造的。爱因斯坦为了弥补这一点,靠直觉、知识和经验搭出了极其准确的物理模型,里面包含心理模拟。他会去想象和「感受」一个物理系统在现实里应该是什么样,而不只是推公式。放回搜索的框架:好的世界模型能直接把你带到树上某个节点,你只在那片叶子附近搜一点,就能到达原创的地方。判断越准,挑哪片叶子展开就越准,总搜索量就越少。
那能不能完全不要先验,像 AlphaZero 那样纯靠强化学习从零长出 AGI?他说理论上没有理由不行,Google DeepMind 和强化学习社区里也有人在做,这类算法有价值,因为有先验时它们也该能用。但他认为最快、最可能的路,是用上人类在网上积累的全部知识,用 transformer 这样可扩展的算法吃进去,再拿它当先验来引导学习。他的押注是:最终的 AGI 系统里会有大型多模态模型,但光靠它们大概率不够,还需要上面那层规划和搜索。
合成数据能越过数据墙,前提是先找到数据里的洞
强化学习能不能借自我对弈和合成数据绕过数据瓶颈?哈萨比斯说他「非常乐观」。一是可用数据还很多,尤其算上多模态和视频,社会也在不断往网上加数据。二是合成数据空间很大:一种是用非常逼真的游戏环境做模拟来生成数据,另一种是 self-play,让系统彼此对弈或对话。AlphaGo 和 AlphaZero 就是让系统互相下棋,从对方的错误里学,逐步积累知识。他也承认,要构造通用的「世界数据」会更复杂。
Dwarkesh 的追问更尖锐:怎么保证模型自我对弈产出的不是数据集里已有内容的重复,而是真正新的、能提升能力的东西?
哈萨比斯说这里需要一整套科学,而现在还在起步阶段:数据策展、数据分析,具体就是分析你的数据分布里哪里有洞。这也关系到公平和偏见,要消除偏见,就得保证数据集能代表你想学的分布。手段包括给某些数据加权、重放某些部分。一旦找到数据集里的缺口,那里就是合成数据该去补的地方。
他还认为一些老想法该回来了。十多年前 DeepMind 的 DQN 把 Q-learning 这类强化学习方法放大,和深度学习结合,只看像素就学会了玩 Atari 游戏。他说这些想法要和大模型、大型多模态模型的新进展结合起来。
Scaling 是个经验问题,所以一半力气押规模,一半押发明
强版本的 scaling 假说认为:给足够的算力和足够广的数据,智能就会出现。哈萨比斯没有站队,他说这是经验问题。几乎所有人,包括最早提出 scaling 假说的人,都没想到它能走这么远。
看今天的大模型,我觉得就它们本身而言,有效得几乎不合理。
I look at the large models today and I think they're almost unreasonably effective for what they are.
他说的意外很具体。第一,这些模型显然有某种概念和抽象。五年多以前,他会认为这需要额外的算法突破,可能更接近大脑的方式。他现在仍认为,如果要显式、干净的抽象概念,这个判断成立;但模型似乎能隐式学到。
第二是 grounding,即模型的知识能和真实世界对得上。在多模态模型出现之前,模型从没多模态地经历过世界,却已经有某种落地。他提了两个假设。一是 RLHF(让人给模型的回答打分,再用这些分数训练模型)里的评分员本身是落地的人,反馈也就带着现实。二是语言里包含的落地信息,可能比语言学家以为的多。他说这引出的哲学问题,大家还几乎没碰。
他的结论分两半。scaling 要尽全力推,会不会撞墙没人知道,那就去测。同时要加倍投入发明。他说 DeepMind 大约一半力气花在 scaling,一半花在发明下一代架构和算法,而且发明时就假定更大的模型正在路上。他特意说这是「宽松的押注」,并承认 DeepMind 处在能两样同时做的幸运位置。
Dwarkesh 抛出一个外界看法:别的实验室比 DeepMind 更省算力。哈萨比斯否认。他在访谈中说,Gemini 1 用的算力和传闻中 GPT-4 大致相当,可能略多,但他不知道 GPT-4 的确切数字。他的解释是算力不只用来放大规模。新发明只有能放大才有用,所以发明本身就耗算力:要测很多东西,至少在合理规模上验证。
有些新想法在玩具规模上不管用,到大规模反而管用。其实这些才是更值钱的。
Some new ideas may not work at a toy scale but do work at a larger scale. In fact, those are the more valuable ones.
他还说,这一年谷歌会拥有远超任何研究实验室的算力。
放大规模没有魔法,一次最多放大一个数量级
Dwarkesh 问:既然 scaling 有效,为什么不直接把 Gemini 放大十倍?
哈萨比斯先讲物理限制:一个数据中心能塞多少算力,分布式训练和跨数据中心训练的难题,以及硬件,谷歌一边自研 TPU,一边也用 GPU。然后是方法上的:
Scaling law 也不是靠魔法起作用的。
Scaling lAnthropic also don't just work by magic.
scaling law 指的是模型规模、数据量、算力和效果之间那条可以外推的经验曲线。他说每到一个新规模,超参数要跟着调,配方也要改,这「有点像手艺」。把预测往外推好几个数量级,有时就不成立了;能力可能出现阶跃,有些规律还在,有些不在了。中间的数据点用来修正超参数,scaling law 才能继续成立。所以他的经验是:每一代之间放大一个数量级,大概就是上限。
Dwarkesh 提到 GPT-4 技术报告:OpenAI 用算力少几万倍的模型就预测出了 GPT-4 的训练损失。哈萨比斯说损失往往能预测,但下游能力未必跟着走,未必反映到 MMLU、数学或你真正在意的能力上,中间有非线性效应。
问到 Gemini 开发里最大的意外,他说没有单一的大意外。学到最多的是组织层面:怎么「照看」这么大的训练任务、怎么跟踪它;还有优化的指标和最终能力之间怎么对应。他说这层映射至今没有完全搞懂,但他们越来越会处理。
对齐比人聪明的系统,先抓住「欺骗」这个根节点
这一段,两人有一次明显的错位。
Dwarkesh 提出两个会让 grounding 变难的趋势。一是模型变聪明后,会进入人类给不出足够标注的领域:它交一个百万行的 pull request,你怎么判断它符合道德和你要的目标?二是到目前为止,预测下一个词本身是一种约束,模型得像人那样说话和思考;以后更多算力会花在只看结果的强化学习上,你没法追溯它是怎么做到的。两者叠加,落地会不会消失?
哈萨比斯先从能力角度回答。他说系统如果没落地,就没法真正在现实中达成目标。Gemini 这类模型越来越多模态,把视频、音频和文字关联起来,这是一种真正的落地。再往前是主动版本:在逼真的模拟或游戏环境里,智能体学习自己的动作怎么影响世界,而它的选择又决定下一段学到的数据。AlphaGo、AlphaZero 本来就是这种主动学习者。要做机器人,更绕不开这一点。
Dwarkesh 把问题拉了回来。他问的不是能力会不会继续前进,而是另一种落地:模型学的是人类思维,所以可能像人一样思考。训练越来越看结果之后,这还成立吗?更大的问题是:一个比人聪明、可能用陌生概念思考、你没法检查它百万行代码的系统,怎么对齐?
这次哈萨比斯正面回答。他说他和 Shane Legg(DeepMind 联合创始人)在创立 DeepMind 之前就把这件事放在心上,因为「我们是按成功来规划的」。他列了几个方向,并说这本身够单独谈一整期:
- 更严格的评测。他认为现在缺少能测出系统会不会骗你、会不会把自己的代码偷运出去这类行为的评测和基准。
- 用专注某个领域的窄 AI 工具,帮人类科学家分析和总结通用系统在做什么。
- 加固的沙盒:带网络安全措施的模拟环境,既把 AI 关在里面,也把黑客挡在外面,在里面可以更放开地实验。
- 可解释性分析:弄清系统在构建什么概念和表征,让它们不那么陌生。
时间表上,他不给具体年份,理由是未知太多,人类的创造力总会带来意外。Dwarkesh 转述 Shane Legg 的估计是 2028 年。哈萨比斯只说,2010 年创立 DeepMind 时他们把它当 20 年项目,现在还在轨道上,而「20 年项目通常永远离完成还有 20 年」。他说未来十年内出现类 AGI 系统,他不会意外。AGI 会不会加速 AI 研究?他说有可能,部分取决于社会决定把早期 AGI 用在哪里;现有大模型写代码不错,还有 AlphaCode 和定理证明系统,组合起来可能帮人设计下一代自己,但安全问题也要一起考虑。
Dwarkesh 接着问:假如一个模型可能引发智能爆炸,满足什么条件你才放心继续开发?哈萨比斯说现在对系统的理解远远不够,他连该勾哪些选项都讲不清楚。未来几年要做的是评测和指标:理想是形式化证明,但对这类系统会很难,至少要有经验上的能力边界。
我把欺骗之类的特性看作非常根节点的、你不想要的特性。
I think about things like deception as being quite root node traits that you don't want.
他的推理链是:如果你能确信系统暴露的是它真实的想法,就可以用系统本身来向你解释它自己。他拿下棋类比。他和卡斯帕罗夫下过棋,他想不出卡斯帕罗夫或卡尔森那样的着法,但他们能解释为什么这么走,他事后能听懂。超人系统也可以这样解释自己,在数学问题上甚至给出证明。诚实是前提,所以欺骗是根节点。
反过来,什么会让他第二天叫停 Gemini 2 的训练?他说是意料之外的新能力,或者明确告诉系统不要做的事,它做了,还撒了谎。他希望这种事发生在安全的沙盒里,然后暂停,彻底搞清原因再继续。他也加了一个时间上的限定:在他看来,今天的系统并不危险,但几年后可能有潜在危险。
开源通用模型,支持者还没回答「坏人怎么办」
Dwarkesh 问到权重被盗。哈萨比斯把问题拆成安全和开源两部分。
安全上,他说 Google DeepMind 在谷歌的防火墙和云防护后面,他认为这在企业里是全世界最好的;DeepMind 自己的代码库还有一层专门防护。他说不能自满,以后可以考虑加固沙盒、专门的安全数据中心或硬件方案,三到五年内可能还要物理隔离(air gap,让关键系统和外部网络完全断开)。他认为所有前沿实验室都该这样做,因为流氓国家和其他危险行动者有很强的动机去偷权重。
开源上,他先强调 DeepMind 是开源和开放科学的支持者:发了几千篇论文,AlphaFold、transformer、AlphaGo 都公开了,最近的是天气预测系统 GraphCast。但到了通用基础技术,他有一个问题要问开源支持者:怎么阻止坏人,从个人到流氓国家,拿同样的开源系统改作有害用途?
主张什么都开源的人,我还没听到过一个有说服力、清楚的回答。
I haven't heard a compelling, clear answer to that from proponents of just open sourcing everything.
他也承认自己不知道答案,只说需要某种平衡,而这个平衡点很难定。
谁能接触权重?他说要和协作与进展速度平衡。学术界、英国和美国的 AI 安全研究所这类外部研究者要能做红队测试(找人专门扮演攻击者去试探系统),所以系统要一定程度开放,但不一定开放权重。他们有流程保证只有需要的人才有权限。现在还是这类系统有风险的早期,系统变强后要重新审视权限。
Dwarkesh 又问:如果评测发现下一代模型能帮外行造出大流行级的生物武器,怎么办?哈萨比斯说,第一步是靠评测、基准和外部测试者提前发现。然后修漏洞,看问题是什么,可能是换一套 constitution(写给模型的行为准则)、加不同的防护、做更多 RLHF,或者删掉部分训练数据。只要它是一个暴露面,就一定要在全面部署之前修好。
在安全研究上,哈萨比斯认为 DeepMind 的长处是:他们参与开创了 RLHF;self-play 的思路可以用来自动测试新系统的边界条件,而通用系统要覆盖的行为面太大,必须自动化测试;他们有长期使用模拟和游戏环境的积累;谷歌还有顶尖的网络安全专家和硬件设计师。他还透露,DeepMind 内部已有安全委员会(Shane Legg 等人担任主席),接下来几个月会公开发布类似「负责任扩展政策」的框架和技术论文。Dwarkesh 说这类政策是一种很好的经验式预先承诺,他表示同意。
大模型还没改变经济,因为它们缺规划、记忆和想象
Dwarkesh 说,五年前要是看到 Gemini,他会觉得它会接管很多工作,可它到现在还没自动化大片经济。为什么?
哈萨比斯说这只说明还在新时代的开头。现在能做的是摘要、简单写作、偏模板化的写作,只占日常工作的一小部分。更通用的场景还要新能力:规划和搜索,以及个性化和情景记忆。他特意区分了一下:情景记忆不是长上下文窗口,而是真的记得一百次对话之前聊过什么。 他说他自己就会每天用一个能帮他找到更好的书、电影和音乐的推荐系统。他也说,现在的系统可靠性还不够做科学,等事实性和落地问题解决了,它们可能成为科学家或临床医生最好的研究助手。
关于「模型只是在背」的说法,Dwarkesh 引用了他早年那篇关于记忆与想象的论文。哈萨比斯说,极限情况下可以把一切都背下来,但没法泛化到分布之外;Gemini、GPT-4 这一代显然在泛化到新的结构。他的博士研究显示:
人类的记忆是一个重建过程,不是录像带。
Memory, at least human memory, is a reconstructive process. It's not a videotape.
大脑是从一些熟悉的部件把记忆重新拼起来的。这让他想到想象也是同一回事:用同样的语义部件,以大脑认为新颖的方式组合,服务于规划之类的目的。他认为这种调用世界模型的不同部分去模拟新东西的能力,也就是他说的想象,当前系统大概率还没有。
科学上的判断也是同一条线。他说数学、定理证明、编程进展很好,系统已经能帮顶尖科学家更快突破,像 AlphaFold 找蛋白质结构那样,替人对搜索空间做「分诊」。但它们提不出假设,也问不出正确的问题。
任何顶尖科学家都会告诉你,科学里最难的部分其实是问出正确的问题。
As any top scientist will tell you, the hardest part of science is actually asking the right question.
他说系统擅长的是:只要问题能用清晰的目标函数描述,就能搜索巨大的组合空间。这对今天很多问题已经有用,但不适用于最高层的创造性问题。
交互形式也会变。他预计未来一年到 18 个月,模型可能通过摄像头、手机或眼镜理解你周围的环境,然后更自然地取用视频、语音,最终可能加上触觉,以及机器人的其他传感器。
机器人这边,Dwarkesh 提到 Ilya Sutskever 说过 OpenAI 当时放弃机器人是因为数据不够。哈萨比斯同意难点在数据,但 DeepMind 恰恰喜欢它数据贫乏:这会逼他们研究样本效率、迁移学习、从模拟到现实的迁移(sim-to-real)和控制问题,这些本来就有用。他举 Gato 为例:把动作、词、图像的一部分都当成 token。他说这才是真正的多模态。这样的系统比纯语言系统更难训练,但不同模态会互相受益,懂一点视频,语言也会变好。Gato 的想法正在融进未来几代 Gemini。
不等 AGI,因为真实应用让研究保持诚实
Dwarkesh 问:既然你认为 AGI 十到二十年内会来,何必做这么多领域专用的方案,等 AGI 来做不就好了?
哈萨比斯给了两个理由。一是谁也不知道 AGI 要多久,DeepMind 从一开始就说,不必等 AGI 才给世界带来好处。他个人最热衷 AI for science 和健康,再加上谷歌有几十个十亿用户级的产品,成果可以直接上线。二是从做 AGI 本身看,真实应用能在实战中检验想法。
你不想待在一个研究地堡里,理论上在往前推,可内部指标却开始偏离人们真正在意的东西。
You don't want to be in a research bunker where you theoretically are pushing things forward, but then actually your internal metrics start deviating from real-world things that people would care about.
真实世界的反馈会告诉你系统是不是真的在 scaling,还是需要更高的数据效率和样本效率,因为大多数真实问题都要求这一点。他说这让研究方向不断被校正。
同样的态度贯穿他对行业的看法。Dwarkesh 问合并进来的 Google Brain 团队在安全上是否和 DeepMind 想法一致,他说认真对待责任,正是 2014 年选择加入谷歌的原因之一,他认为整个谷歌和 Alphabet 都如此。他们的口号是「大胆且负责」。他说自己是坚定的技术乐观派,但在巨大的不确定性面前,唯一明智的做法是谨慎乐观,用科学方法尽量提前看清后果。他希望整个领域离开硅谷「快速行动、打破东西」的做法:
你不会想拿这些后果重大的系统在真实世界里做 A/B 测试。
You don't want to be live A/B testing out in the world with these very consequential systems.
最后 Dwarkesh 问他亲眼看到这一切是什么感觉。他说技术进展早已计入他的世界模型,没想到的是公众这么早就感兴趣。如果 ChatGPT 和聊天机器人没火,DeepMind 会继续做 AlphaFold、AlphaGo 这类主线之外的专用系统,公众要再过几年才会注意到。现在的环境更混乱,事情太多,VC 资金涌入,「大家几乎都快疯了」。他唯一担心的,是这个领域在热潮里丢掉科学的方法。
这期访谈的分量在于,哈萨比斯把 AGI 拆成了可以分开推进的几块:可靠的世界模型、模型之上的规划和搜索、能定义清楚的奖励、能保证诚实的评测。以下是我的解读:访谈录于 2024 年 2 月,此后「让模型在回答前多想、多试几条路」确实成了行业主线,他那半句「必要但不够」比当时听起来更具体。但他没回答的问题也很清楚:开放式任务的奖励到底怎么定义,开源的平衡点在哪里,以及在系统比人聪明之后,我们凭什么确信它在说真话。
其他值得记下的观点
- 哈萨比斯认为智能背后有共通的高层算法原则,同时大脑也有专门分区。他观察到训练模型写代码会提升一般推理,存在迁移,但他说还需要更多证据。人类也是这样,用通用学习机制,在练得多的领域变得更专精。
- 他说现在的分析手段还不够精细,找不到神经网络里同时让语言和代码变好的具体位置。他把这类机制分析叫「虚拟脑分析」,类似对真实大脑做 fMRI 或单细胞记录,并点名欣赏 Chris Olah 的工作,鼓励计算神经科学的朋友把方法用到大模型上。
- 2010 年 DeepMind 押注的是通用性和学习,所以选了强化学习、搜索、深度学习三类能放大、少依赖人工先验的算法。他认为 90 年代麻省理工等地的专家系统失败,在于大量手写的人类知识,后来证明是错的或太僵硬。他说 AlphaGo 启发很多人意识到这些系统可以放大了,而谷歌同事发明的 transformer 让大规模吃进信息成为可能。
- 他提到 Shane Legg 一直用算力曲线粗略对比大脑的神经元和突触数量,而现在的算力大致已到突触数量那个数量级。他承认 DeepMind 早期的注意力类工作,比如神经图灵机,不如 transformer 优雅和通用。
- 治理上,他认为这项技术的影响大于任何一家公司甚至整个行业,需要公民社会、学术界、政府共同参与,最好在联合国层面形成国际共识。他评价英国主办的 AI 安全峰会推动了国际对话,并希望 Isomorphic 这样的分拆公司用 AI 加速药物研发、治疗疾病。
- Brain 和 DeepMind 合并后,从按项目合作变成深度合作,算力、想法和工程得以合并。他说 Gemini(双子)这个名字就暗指两个团队,而前沿系统需要大量世界级工程,协调起来更合理。
对 builder 有什么用
- 给自家 agent 加一个打分器做剪枝:生成多个候选计划时,先用模型或规则打分,只展开得分最高的两三个,对比全量展开的成本和成功率。对应「世界模型越好,搜索越省」。
- 做合成数据前先找洞:把评测里失败的样本按类型打标签,统计分布缺口,只针对缺口生成数据,而不是整体扩量。
- 放大训练或微调规模时,每次不超过 10 倍,中间多留几个检查点,同时跟踪训练损失和你真正在意的下游任务指标;两者走势不一致,先停下来调配方。
- 给助手类产品做情景记忆,而不只是加长上下文:把每次会话压缩成可检索的摘要,测试用户能不能感到它记得很久以前聊过的事。
- 在沙盒里给 agent 做一个「违令并隐瞒」测试:明确禁止某个操作,观察它会不会照做、事后会不会如实报告,把它列为上线前的固定评测项。
In their words
“The brain is an existence proof that general intelligence is possible at all.”大脑是一个存在性证明:通用智能是可能的。
“That's clearly a necessary, but probably insufficient component of an AGI system.”这显然是 AGI 系统的必要组件,但很可能不是充分的。
“I look at the large models today and I think they're almost unreasonably effective for what they are.”看今天的大模型,我觉得就它们本身而言,有效得几乎不合理。
“Scaling lAnthropic also don't just work by magic.”Scaling law 也不是靠魔法起作用的。
“One order of magnitude is probably about the maximum that you want to do between each era.”每一代之间放大一个数量级,大概就是你想做的上限。
“Some new ideas may not work at a toy scale but do work at a larger scale. In fact, those are the more valuable ones.”有些新想法在玩具规模上不管用,到大规模反而管用。其实这些才是更值钱的。
“I think about things like deception as being quite root node traits that you don't want.”我把欺骗之类的特性看作非常根节点的、你不想要的特性。
“Memory, at least human memory, is a reconstructive process. It's not a videotape.”人类的记忆是一个重建过程,不是录像带。
“I haven't heard a compelling, clear answer to that from proponents of just open sourcing everything.”主张什么都开源的人,我还没听到过一个有说服力、清楚的回答。
“As any top scientist will tell you, the hardest part of science is actually asking the right question.”任何顶尖科学家都会告诉你,科学里最难的部分其实是问出正确的问题。
“You don't want to be in a research bunker where you theoretically are pushing things forward, but then actually your internal metrics start deviating from real-world things that people would care about.”你不想待在一个研究地堡里,理论上在往前推,可内部指标却开始偏离人们真正在意的东西。
“You don't want to be live A/B testing out in the world with these very consequential systems.”你不会想拿这些后果重大的系统在真实世界里做 A/B 测试。
Concepts to know
- 世界模型World model
- 系统内部对世界如何运作的预测模型。哈萨比斯把大模型看作越来越准的世界模型,规划和搜索建立在它之上。
- 蒙特卡洛树搜索Monte Carlo tree search
- 把每种选择当树枝展开,用抽样估计哪些分支值得深挖,而不是穷举整棵树。AlphaGo 的核心机制之一。
- 自我对弈Self-play
- 让系统和自己或同类系统对弈、对话,从彼此的错误中学习,生成新的训练数据。
- 规模定律Scaling law
- 模型规模、数据量、算力与效果之间可外推的经验曲线。哈萨比斯强调它需要中间数据点不断校正,且损失下降不等于下游能力提升。
- 落地Grounding
- 模型的知识和真实世界对得上。哈萨比斯推测纯文本模型的落地可能来自 RLHF 评分员和语言本身。
- 基于人类反馈的强化学习RLHF
- 让人给模型的回答打分,再用这些分数训练模型,可同时用于提升性能和安全。
- 情景记忆Episodic memory
- 记住具体发生过的经历。哈萨比斯强调它不同于长上下文窗口,是记得一百次对话之前聊过的事。
- 从模拟到现实的迁移Sim-to-real
- 先在模拟环境里训练,再把学到的能力迁移到真实机器人上,用来缓解机器人数据稀缺。
Turning points
2010 年
创立 DeepMind 时押注通用性和学习,选择强化学习、搜索、深度学习三类算法,并以游戏作为试验场。
他认为 90 年代专家系统靠大量手写知识,结果错误或僵硬;而游戏奖励函数明确、研究效率高。
2014 年
DeepMind 加入谷歌。
哈萨比斯说原因之一是谷歌和 Alphabet 认真对待 AI 的责任问题。
2023 年
Google Brain 与 DeepMind 合并为 Google DeepMind,Gemini 是合并后的第一个成果。
从按项目合作变成深度合作,可以合并算力、想法和工程,而前沿系统需要大量世界级工程协调。
把研究力量大致一半投向 scaling,一半投向新架构和算法。
他认为 scaling 是否撞墙是经验问题、没人知道,因此两边都要推;同时承认这依赖谷歌的算力条件。
Read with care
- 关于自家的说法均为哈萨比斯单方面陈述、没有第三方印证:Gemini 1 算力与传闻中 GPT-4 相当(GPT-4 的数字本身也是传闻)、当年谷歌算力远超其他实验室、谷歌安全防护全球最好、DeepMind 参与开创注意力机制和 RLHF、Gemini 是「最好的模型」(这一说法出自主持人)。
- 判断有明确的时间点:访谈录于 2024 年 2 月,早于后来的推理模型浪潮和 DeepMind 公开发布安全框架;「今天的系统并不危险」是他对当时系统的判断,他自己也说几年后可能不同。
- 一半押规模、一半押发明,以及「一次放大一个数量级」的经验,前提是拥有前沿实验室级别的算力,他也承认这是谷歌的「幸运位置」;小团队只能借鉴其中的方法,而不是资源配比。
- 字幕为节目官方整理稿,经过编辑;安全对齐、治理、开源等话题哈萨比斯自己说够单独谈一整期,这里多是列举方向,没有展开论证。
Adapted from the public interview transcript. Quotes are excerpts; watch the original for full context. Reviewed 2026-10-26