Jeff Dean 与 Noam Shazeer：在谷歌的 25 年，从 PageRank 到 AGI

2007 年前后，谷歌的机器翻译团队参加了 DARPA 的年度翻译评测。规则是周一拿到约 500 个句子，周五交译文。谷歌赢了，在衡量翻译质量的 BLEU 分数上领先不少。Jeff Dean 看到结果，去找团队负责人 Franz Och：这么好，什么时候上线？

Och 的回答是上不了线，因为翻一句话要 12 个小时。系统每翻一个词，要去磁盘上的统计语言模型里做约 10 万次查找。

Dean 跟团队一起干了两三个月。他们在约两万亿词的网页语料上统计每个五词序列出现的次数，也就是 5-gram（n-gram 可以理解为一张巨大的词组频次表）。他把这张表压缩后放进 200 台机器的内存，再提供一个批量接口：这一轮要查的 10 万个条目一次交上来，并行返回。翻一句话的时间从一整夜降到大约 100 毫秒。

主持人 Dwarkesh Patel 顺势提起谷歌内部流传的“Jeff Dean 段子”，其中一条是：光速原本每小时 35 英里，直到 Jeff Dean 花了一个周末优化它。Dean 说这些段子是同事的愚人节玩笑玩过了头。不过这个故事已经露出了整场对话的底色：很多 AI 进展，说到底是把计算和数据的搬运方式重新设计了一遍。

Dean 1999 年加入谷歌时，公司只有二十几个人。Shazeer 2000 年入职，他的导师就是 Dean。Shazeer 的说法是：“不是谷歌每个人都什么都懂，是 Jeff 什么都懂，因为基本上所有东西都是他写的。”Shazeer 是 Transformer 论文的共同作者，也是混合专家模型（MoE）等关键技术的发明者或共同发明者。2021 年他离开谷歌创办 Character.AI，2024 年回归。

算法一直在跟着硬件走

Dean 先讲了一段硬件史。大约二十年前到十年前，工程师什么都不用做，等 18 个月就有更快的硬件。后来通用 CPU 的进步慢了下来：制程更新从两年变成三年，多核架构带来的提升也比不上从前。取而代之的是专用芯片，比如谷歌的 TPU 和面向机器学习的 GPU。它们专门跑矩阵运算这类现代负载，而不是去跑“一堆弯弯绕绕的 C++ 代码”。

Shazeer 把这件事说得更直接：

算术已经非常非常便宜，相比之下，搬运数据要贵得多。

Arithmetic is very, very cheap, and moving data around is comparatively much more expensive.

他认为深度学习能起飞，大体就是因为这一点。矩阵乘法需要 n³ 次运算，却只涉及 n² 字节的数据。每把一个字节搬到计算单元，就能在上面做很多次乘法，正好吃到“算术便宜、搬运贵”的差价。

他引用了一句据说出自谷歌联合创始人拉里·佩奇的话：我们第二大的成本是税，最大的成本是机会成本。他还补了一句：“如果他没说过，那我已经错引了好多年。”用在芯片上，机会成本是这样的：芯片面积很大，上面的算术单元却很少。如果把芯片塞满算术单元，运算量能高出几个数量级，然后算法和数据流再跟着改。Dean 接着补充：算术还可以用很低的精度，这样能再多塞一些乘法器。

主持人问了一个反事实问题：如果过去十年是内存比算术降价更快，今天的 AI 会是什么样？Dean 的回答是，会有多得多的对超大内存的查表操作。Shazeer 说可能会更像二十年前的 AI，同时也承认自己不确定。

量化：麻烦，但快三倍

量化指的是用更少的比特表示模型的数字，比如用 8 位整数代替 32 位浮点数。好比把高清照片压成小图，细节少了一点，传输和计算快了很多。

Dean 回忆，做第一代 TPU 时，团队并不确定 8 位整数能不能用于推理。只是有一些早期证据显示可能可行，他们就把整颗芯片围绕 int8 来设计。如今推理已经在用 int4 甚至 fp4，有人把模型压到 2 位或 1 位，每组比特再配一个符号位。他说，二十年前跟搞超级计算的人提 fp4，对方会觉得你疯了，因为他们喜欢 64 位的浮点数。

Shazeer 认为这件事只能靠软硬件协同设计推动。他的推理是这样的。算法设计者如果不知道低精度能换来大幅的吞吐提升，自然会说不要低精度，因为它带来风险，也很烦人。芯片设计者去问今天写算法的人想要什么，得到的答案还是“不喜欢量化”。必须有人看清整张图，意识到量化能把“吞吐/成本”比提高很多。

Dean 的总结更短：

没错，量化很烦人，但你的模型会快三倍，所以你得忍着。

Yes, quantization is irritating, but your model is going to be three times faster. So you're going to have to deal.

这种“算力决定什么可行”的观念，在 Dean 身上很早就有了。1990 年，他的本科荣誉论文在一台 32 处理器的超立方体机器上实现了反向传播的两种并行方式。一种是数据并行：每个处理器有一份完整模型，各自处理不同批次的样本。另一种是模型并行：模型拆到不同处理器上，样本像流水线一样依次经过。他当时觉得神经网络是对的抽象，32 个处理器就能训出很厉害的网络。结果真正能解决实际问题，需要大约一百万倍的算力。直到 2008 到 2010 年前后，摩尔定律攒够了算力，他才重新回到神经网络。

语言建模是“世界上最好的问题”

主持人问：做 n-gram 的时候，有没有想过把上下文从 5 个词扩到 1000 个词，就会得到智能？

两人都说没有。Shazeer 说当时很多人更看好贝叶斯网络。打动他的是后来的早期神经语言模型。一方面它在做“非常酷的事”，另一方面他觉得这是世界上最好的研究问题，理由有三个：

1. 问题极其简单：给出下一个词的概率分布。
2. 训练数据几乎无限：整个网页的文本就是数万亿个自监督样本。
3. 它是“AI 完备”的：如果能把这件事做得极好，几乎什么都能做。

Dean 补充了自监督的好处：正确答案本来就在数据里，用前面所有的词去预测当前这个词，等于直接从对世界的观察中学习。

Shazeer 自己 2001 年左右就做过基于语言模型的拼写纠错，那时整个系统放在一台机器的内存里。Dean 记得他把 demo 链接发给全公司，自己把能想到的拼错的查询都试了一遍。“scrambled eggs benedict”被他拼得面目全非，系统每次都猜对。Shazeer 说：“我想那就是语言建模。”

对于大想法是不是“本来就在空气里”这个问题，Shazeer 的回答是一半一半。当时已经有神经图灵机，也有用键值存储让神经网络“聚焦”的想法，这些就是注意力机制的前身。所以某种意义上它在空气里，但仍然需要有一群人去把它做出来。Dean 的说法类似：新突破往往是几个现有想法的变形，加上一块没人解决过的新东西。

一个识别猫的神经元，让 Dean 确信要继续做大

被问到“不敢相信居然成了”的时刻，Dean 讲了 Google Brain 早期的猫脸实验。当时数据中心里没有 GPU，只有 CPU，但他们知道怎么让大量 CPU 协同工作。团队用模型并行加数据并行，在 1000 万帧随机抽取的 YouTube 画面上做无监督学习。他在访谈中说，用了 2000 台计算机、16000 个核。

训练一段时间后，最高层出现了一个神经元，只对猫的正脸有反应。这个模型从没被告知什么是猫。另外还有神经元分别对人脸、行人的背影有反应。同一套网络在有监督的 ImageNet 两万类任务上，他在访谈中说取得了约 60% 的相对提升，而这个网络比此前训练过的大约大 50 倍。Dean 的结论是：扩大神经网络规模，他本来就觉得是个好主意，现在看起来确实是，那就继续推。

参数里的知识是模糊的，上下文里的才清晰

谈到长上下文，Dean 解释了模型为什么会产生幻觉：模型在几十万亿个 token 上训练，再把这些内容“搅拌”进几百亿到几千亿个参数里。参数里的知识是糊的，模型大致知道，但偶尔会把日期记错。放进上下文窗口里的信息则清晰得多，因为注意力机制能精确看到原文、原始视频帧或音频。

现在的模型能处理数百万 token，相当于几百页 PDF、50 篇论文、几小时视频。Dean 想要的是万亿 token：能关注整个互联网并找到对的内容；在你授权的前提下，能关注你所有的邮件、文档和照片；能把整个谷歌代码库放进每个谷歌工程师的上下文，把全世界的开源代码放进任何开源开发者的上下文。难点在于朴素注意力的计算量随长度平方增长，几百万 token 已经勉强，万亿 token 毫无希望，必须靠一系列算法上的近似。

Shazeer 从存储效率的角度补了一笔账。参数记事实很省，大概一个参数能记住一个量级的事实。上下文里的每个 token，在每一层都要存键和值，可能占到 1KB 甚至 1MB。Dean 的说法是“你把一个词放大成了 10KB”。所以眼下有很多创新围绕三个问题：怎么压缩这部分开销，哪些词需要留在上下文里，有没有更好的方式访问这些信息。Shazeer 说这需要有人设计从 SRAM 一直到全球数据中心的整套存储层级，“Jeff 看起来是合适的人”。

主持人追问：谷歌有那么多内部代码，为什么不直接用起来？Dean 说已经在做了：谷歌已经在内部代码库上对 Gemini 做了进一步训练，供内部工程师使用。但他强调，这和“把代码库放进上下文”不一样，训练是把代码搅进参数，放进上下文才更清晰。他提到，Sundar Pichai 说过谷歌现在提交的代码字符中，约 25% 由 AI 编程模型生成，再由人审核。

推理算力还有上百倍的余量

Shazeer 认为近期最大的提升空间在推理时计算，也就是模型训练好之后，回答问题时多花算力去“想”。他算了一笔账：

• 一个很大的模型，每个 token 做一万亿次运算，这已经比大多数人现在用的多；
• 每次运算的成本大约是 10⁻¹⁸ 美元；
• 算下来，一美元能买约一百万个 token。

对比之下，买一本平装书来读，一美元大约换一万个 token。所以和语言模型对话比读平装书便宜约 100 倍，比找客服便宜约一万倍，比雇软件工程师或咨询医生、律师便宜一百万倍以上。

我们比读平装书便宜 100 倍，比找客服便宜一万倍，比雇软件工程师、找医生或律师便宜一百万倍以上。所以有巨大的空间去加算力，让它更聪明。

We're 100x cheaper than reading a paperback, we're 10,000 times cheaper than talking to a customer support agent, we're a million times or more cheaper than hiring a software engineer or talking to your doctor or lawyer.

他的结论是：让模型变贵一点、换来更聪明，还有很大的余地。预训练和后训练会继续进步，但“推理时更努力地想”会是一次爆发。

Dean 用“旋钮”来描述理想的状态：拧得越大，花的算力越多，答案越好。重要问题就多想，问“1+1 等于几”就别动用大模型，最好让系统自己决定去调用计算器。他承认现在的效果还不够：在谷歌自己的实验里，花 10 倍推理算力确实比 1 倍得到更好的答案，但他们希望这 10 倍换来的提升更大，这需要新算法。

至于推理时计算更像搜索还是更像沿一条线一直想下去，Dean 引用了 Rich Sutton 的《苦涩的教训》（The Bitter Lesson）：在各种方法里，能随算力扩展、在大量问题上胜出的只有两类，学习和搜索。所以他认为搜索必然是答案的一部分：尝试几种解法，发现这条不行、那条更好，就沿着好的那条继续探索。

推理会改变数据中心和产品形态

Dean 认为推理会成为越来越重要的一类计算，值得为它专门设计硬件。第一代 TPU 本来就是专为推理设计的，后来几代才转向训练兼顾推理。他把推理分成两种：用户在等的、对延迟敏感的；以及在后台跑的。

后台任务的例子是谷歌在录制前约一周发布的 Deep Research。用户让它研究可再生能源的历史和成本趋势，它会在一两分钟后交回一份 8 页、带 50 条参考文献的报告。Dean 认为这类计算会大量增加，并带来新的界面问题。比如一个用户同时有 20 个后台任务，其中一个回来问：“找到去柏林的航班了，但没有直飞，转机可以吗？”用户回答之后，任务怎么再回到后台继续去订酒店？

Shazeer 指出了推理在效率上的一个先天劣势：训练时，Transformer 可以把整个序列当成一个批次并行计算；推理时只能一个 token 一个 token 地生成。Dean 举了草稿模型（drafter）的例子：用一个很小的模型先猜接下来 4 个 token，再交给大模型检查。如果大模型认可前 3 个，就直接前进 3 步，相当于把串行的单 token 计算变成了 4 个 token 宽的并行计算。Shazeer 的概括是：大模型从生成者变成了验证者，而验证是可以并行做的。

被问到 2030 年需要多少推理算力时，Dean 给了一个数量级的推算：

• 推理时计算会让一次请求的计算量变成现在的 50 倍、100 倍甚至 1000 倍；
• 他估计现在只有 10% 到 20% 的电脑用户用过聊天式 AI，普及到 100% 且用得更重，又是一到两个数量级；
• 模型本身还会变大，再加一到两个数量级。

Shazeer 想得更远。他设想一个戴在眼镜里、能看到你周围一切、掌握你全部数字信息的助手，像“内阁”一样随时给你建议。假设算力花费每翻一倍，它的 IQ 就高 5 到 10 分，你愿意每天花 10 美元，还是 20 美元换一个更聪明的？再加上 AI 工程师会让世界 GDP 大幅增长，能源问题也可能被解决，他估计每个人使用的 AI 算力会是“天文数字”，并顺口提到太阳的功率约为 10²⁶ 瓦。Dean 的回应是“我不确定完全同意”，但他认为即使只走到一部分，算力需求也会非常大，所以关键是通过硬件和模型的协同设计，把使用成本压到最低。至于谷歌的资本开支够不够激进，Dean 不予置评，只说可以看过去几年的投入。

自动化研究能加速几乎一切，除了最大规模的那一次实验

谈到 AI 帮研究员写代码，Dean 举了一个他在 Reddit 上看到的例子：有人让谷歌一个实验性的编程模型“实现一个没有外部依赖的 SQL 数据库”。根据那位用户的描述，模型写出了 SQL 解析器、分词器、查询规划和磁盘存储格式，能处理简单查询。他设想未来的系统会在后台跑 10 分钟，中途停下来问你：要支持视频，还是只支持图片？

主持人觉得 Dean 说得太保守了：这等于凭空多出几百万个员工。Dean 回答：

我只是不喜欢炒作还没做成的东西。

I just don't like to hype things that aren't done yet.

Shazeer 的思路是把研究看成一个并行搜索问题。他说，在机器学习里，一个“肯定能成”的绝妙想法，如果你很厉害，成功率大概是 2%，大多数都会失败。但如果能试 100 个、1000 个甚至 100 万个想法，就可能撞上了不起的东西。顶级实验室现在的算力，大约是当年训练 Transformer 所需的一百万倍。

主持人问：如果研究者数量多一千倍，是不是每天都会出一个 Transformer 级别的突破？Dean 先纠正了基数：光去年的 NeurIPS 就有一万五千人参会。Shazeer 说也许，然后指出了一个现状：

每个人似乎都想在最大规模上跑实验，但我觉得那是人的问题。

Everyone seems to want to run their experiment at maximum scale, but I think that's a human problem.

Dean 给出了对应的做法：先在千分之一规模的问题上筛 10 万个想法，再把有希望的放大。

代际进步，一大半来自算法

Dean 强调了一点：模型每一代的进步，一部分来自硬件和规模，但同样多、甚至更多来自算法改进、架构变化和训练数据配比，也就是“每单位算力”的效率提升。现在的研究流程是：在小规模上筛选想法，到中等规模验证，再进入大规模实验，最后把一批改进叠进最终的训练配方。如果研究员只需“轻轻引导”一个自动化搜索过程，而不是亲手照看大量实验，这个流程有望快 100 倍。

Shazeer 给这个乐观判断加了一个限定：最大规模的实验快不了。那些实验仍然是样本量为 1 的单次实验，只能让一屋子聪明人盯着它，琢磨为什么这里有效、那里无效。Dean 说，这部分只能靠更多、更好的硬件。Shazeer 接了一句：“我们就靠你了。”

两人也描述了这个过程实际有多乱。Shazeer 的理想是早上想到一个点子，一天内写完代码、跑完实验，拿到初步结论。他认为这在小规模上完全做得到，前提是维护一个干净、方便 fork 的实验代码库。难的是集成阶段：把所有改进叠在一起，看它们在大规模下是否还能共存。主持人问这些改进叠不上的情况常不常见，回答是“一直都有”。Dean 举的例子是：视频输入的处理方式可能和参数更新方式发生意料之外的相互作用。Shazeer 补充说，集成系统要尽量保持干净，因为复杂度会拖慢速度、增加风险，而每个研究员都希望自己的发明被放进去。

还有一个让人头疼的特性。Dean 说神经网络对噪声太宽容了，很多地方设置错了，它也能绕过去继续学。Shazeer 说代码里的 bug 多数时候没影响，有时让模型变差，有时反而让模型变好，“然后你发现了新东西，因为你以前从没在大规模上试过这个 bug”。

芯片设计也在这个循环里

主持人追问硬件这条线能不能也进入加速循环。Dean 介绍了现状：从决定做一款芯片到交给台积电，大约需要 18 个月和 150 人，台积电制造还要约 4 个月，制造时间只占整个周期的一小部分。如果用自动化搜索探索整个设计空间，把设计压缩到几个人、很短的时间，制造就会变成主要耗时。这样硬件团队只需预判 6 到 9 个月后需要什么样的算法，而不是两年半之后。限制在于，最先进制程的金属层越来越多，制造本身需要 3 到 5 个月。主持人指出，大模型训练本来也要这么久，而算法探索可以在现有芯片上同时进行。

加速可能真的会来，Dean 把安全当成工程问题

主持人摆出两种世界。一种是 AI 用二十年慢慢变好，出了错修一下，问题不大。另一种是反馈循环启动，Gemini 4 到 Gemini 5 之间的两年成为人类历史上最重要的两年，AI 从“不错的机器学习研究员”变成超人智能。

Shazeer 的回答很短：

我已经不打扫车库了，因为我在等机器人。

I've stopped cleaning my garage because I'm waiting for the robots.

他说自己大概属于第二阵营，认为会看到大量加速。

Dean 没有直接选边，而是把能力进步说得更具体。现在的模型能把复杂问题拆成 5 到 10 步，大约 80% 的时候给出完美答案。如果能做到把问题拆成 100 到 1000 步，90% 的时候都对，那会是巨大的能力跃升。他认为未来几代模型都会保持明显进步，看不到放缓。Shazeer 补了一句：做到这一点不需要新硬件，当然有的话他们也要。

关于安全，Dean 说自己处在两个极端之间：一端认为 AI 会全面压倒人类，另一端认为完全不用担心。他是论文《Shaping AI》的共同作者。他的观点是，两个极端其实都默认了放任自流，而人应该主动塑造和引导 AI 的部署方向：在教育、医疗等领域尽量放大好处，同时通过政策和技术保障，避开虚假信息、自动化黑客攻击，以及“计算机接管一切”的方向。他把这看成一个工程问题，类比航空软件开发，那个行业在严谨开发安全系统方面有不错的记录。

主持人立刻反驳：737 可没有反馈循环，你不会把它和一堆算力关进箱子两年，出来就是 1000 代。

Shazeer 给出了他的乐观理由：

好消息是，分析文本似乎比生成文本容易。

The good news is that analyzing text seems to be easier than generating text.

他相信用语言模型检查语言模型的输出、找出有问题或危险的内容，会解决很多控制问题。他还指出，安全也是商业问题，能部署什么往往受限于能不能保证安全，所以必须做得很好。

主持人继续追问：如果出现一百万个“邪恶的 Jeff Dean”呢？Dean 开了个玩笑：“训练数据从哪儿来？”主持人没有放过这个问题：在让 Gemini 4 帮忙写 AI 训练代码之前，你们必须先确认什么？

Dean 的回答是保持人类把关。系统可以探索算法思路、产出结果，但是否把某个学习算法并入核心代码库，由人决定。这样能拿到“有人监督的自我改进”的好处，而不会让系统完全自主地改进自己。他还提到，通过 API 或界面提供能力，本身就是一种控制：能看到它怎么被使用，也能设定边界。他承认这“绝不是一个容易的问题”，但认为让这些系统安全是可能的。Shazeer 的立场是：目标是赋能人，所以应尽量少封禁用途；但如果有人拿你的东西造出一百万个邪恶的软件工程师，那不是赋能，“所以我反对”。

从字幕看，对于主持人“上线前必须先跑哪项测试”的追问，两人给出的是原则和机制，没有给出一份具体的检查清单（这是我的观察）。

下一代模型可能是一团分块生长的“blob”

这是整场对话里最具前瞻性的部分，主持人把它比作“2018 年有人在播客上说语言模型会是个大事”。

Dean 一直喜欢稀疏模型，也就是让模型的不同部分擅长不同的事。混合专家模型（MoE）就是这样：模型里有很多“专家”子网络，每个 token 只激活其中一小部分，比如数学相关的内容交给擅长数学的部分。容量很大，但每次只用一小块，推理依然高效。他说 Gemini 1.5 Pro 就是 MoE 架构。

他不满意的是现在的结构太规整了：每个专家大小相同，各条路径很快又汇合到一起。他想要的是更“有机”的结构，而且各个部分能相对独立地开发。今天训练一个模型，要提前决定数据配比，而这里面总有取舍：多放多语言数据，代码数据就会变少，模型代码能力变弱、多语言能力变强。如果一小群关心东南亚语言的人能自己准备数据、训练一个模块，再接到大模型上，或者另一群人专门做一个擅长推理 Haskell 代码的模块，就能有一百个团队并行改进同一个模型。他认为这也是一种持续学习。

Shazeer 先表示赞同，说这像弗兰肯斯坦博士：把模型粘在一起，把一块拆下来塞进另一个模型。然后他提出了反对理由：我们还处在快速进步期，科学上需要对照实验。从头完整训练一次，再和另一次完整训练比较，最能帮人弄清楚该造什么。这种方式不那么激动人心，但带来了快速进步。

Dean 提出一个折中：带版本的模块化。冻结模型的其他部分，只替换某个模块的一个变体，再和基线比较。Shazeer 想了想，认为这反而可能让研究更快：如果改进某个模块的成本远低于从头训练整个系统，研究就会便宜很多。Dean 补充说，这样也更容易让很多人并行工作。Shazeer 的回应是：“好，我们把它搞清楚，下一步就做这个。”

Dean 说他用 Pathways 这个名字勾勒这个愿景已经有一段时间。Pathways 系统本身支持这种结构古怪、各部分异步更新的模型。谷歌已经在用 Pathways 训练 Gemini，只是还没用上这部分能力。

其他几处讨论补全了这幅图：

• 蒸馏：把大模型的能力“教”给一个小模型，好比让资深专家带出一个反应快的助手。Dean 设想每个模块都有大小两个版本，大的持续蒸馏到小的；蒸馏完成后删掉大的，再加参数学新东西，如此循环。路由可以决定简单的数学题交给小模型，难题交给大的。他还说，无论这团东西多复杂、多难部署，都可以随时从中蒸馏出一个能高效服务的版本，一天一次或一小时一次都行。Shazeer 的愿望是蒸馏能快到“瞬间从一团 blob 蒸馏到手机上”。
• 可解释性：主持人说外界普遍觉得 MoE 的专家很难解读。Shazeer 不同意，他说在第一篇 MoE 论文里，几千个专家里有的专门处理“圆柱形物体”相关的词，有的专门处理日期和时间。Dean 提到他的前实习生 Chris Olah 在 Anthropic 用稀疏自编码器找到了“金门大桥神经元”，这种方法也可以用在专家层面。但他也说，只要整体输出好，不一定要理解每个神经元在做什么，这正是深度学习的妙处。
• 服务方式：Shazeer 纠正了一个常见误解。很多人以为 MoE 的好处是没用到的专家就不用读取。实际上，为了效率，服务时会把大量独立请求凑成一个很大的批次，每个专家都会被用到，只是各自处理一小部分请求。所以整个模型仍然要放在显存里，HBM 至少要能装下整个模型。Dean 设想未来专家之间的计算成本可以相差 100 到 1000 倍；常用的专家多复制几份做负载均衡，很少被调用的（他举的例子是“塔希提舞专家”）可以换到普通内存里。
• 权限：Dean 设想有一个大的基础模型，再为不同场景挂上不同模块。谷歌内部的模块用内部数据训练，只给员工用；企业客户可以在云 API 上挂自己的模块；某些 YouTube 数据只能用于 YouTube 产品，就训练一个只在那里使用的模块。Shazeer 补充说，还可以有一块只为你训练、知道你所有私人数据的模块。

被问到这个方向的瓶颈在哪里，Dean 很克制。他说这和现在的 Gemini 开发方式差别很大，需要先看到证据，证明它确实好。有些好处体现在质量上，有些好处不容易量化，比如很多模块可以并行开发。

被问到为什么要往这个方向走，Dean 的理由是：从生物神经元获得灵感在深度学习里很成功，但人脑还有很多特性没被借鉴，比如不同脑区各有专长。他还希望模型的连接方式匹配硬件的连接方式：同一芯片、同一块 HBM 内的神经元密集连接；隔一块芯片，连接少一些；隔很多芯片、跨 TPU pod、跨城市，只传最关键的少量表示。他希望这些比例能“有机地涌现”，而不是由人手工指定。比如某处的数据总是来得太早，就让系统在那里多加一些连接。

谷歌最早做出聊天机器人，却被搜索的标准拖慢了

主持人问了一个尖锐的问题：谷歌很早就有这些洞察，也有顶尖的研究员，为什么有好几年，别家的模型更好？（录制时，Gemini 2 已经在 LMSYS Chatbot Arena 排名第一。）

Dean 先列出谷歌在语言模型上的积累：2001 年 Shazeer 的拼写纠错，2007 年的大规模翻译语言模型，然后是 Seq2Seq、Word2Vec、Transformer、BERT，以及内部聊天机器人 Meena。他说，在 ChatGPT 出来之前，谷歌员工就能玩 Meena。疫情居家期间，很多人午饭时会跟它聊天。

他的解释是，谷歌是从搜索的视角看这件事的。搜索要求答案理想情况下 100% 正确，而这些模型经常产生幻觉，离这个标准很远。它们还有安全问题，可能说出冒犯性的话。谷歌没有充分意识到的是，这些模型在不会拿去问搜索引擎的事情上有多有用，比如帮你给兽医写封信，或者总结一段文字。他的结论是：谷歌花了时间，最终发布了很强的聊天机器人，“我觉得这不是一条坏路”。至于是不是更希望早点发布，他说：“也许吧。”

关于把 Transformer 等研究公开发表是否后悔，Shazeer 的回答有两层。第一，谷歌可能确实需要从别家公司的动作里，才看清这个机会有多大。第二，这不是一块固定大小的蛋糕，现在的世界离“零和”要多远有多远。他也坦率地说，现在谷歌发表得少了一些。Dean 描述了三种处理方式：最关键的可能不发表；对产品重要的，先做进产品，再决定发完整论文还是只做简要介绍，比如 Pixel 相机的夜景模式就是先上线、后发论文；其余的公开发表，推动整个领域进步。

这些判断放在一起，指向一个共同的方向。Dean 和 Shazeer 都认为，下一阶段的进步不会只靠把预训练做得更大，而会来自几条并行的线：推理时多想，算法在每单位算力上提效，研究流程本身被自动化，以及模型结构从整块训练走向模块化生长。他们对加速的态度是认真的。Shazeer 在等机器人帮他打扫车库，Dean 认为未来几代的进步都不会放缓。

几个问题仍然没有答案。最大规模的那次实验快不了，它会不会成为整个加速循环的上限？“分析比生成容易”能否在模型比人更强之后继续成立？模块化模型真正的瓶颈是工程问题还是科学问题，两人都说还需要证据。Shazeer 自己提出的反对意见也还没被回应：在快速进步期，从头训练的对照实验最容易产出可信的结论，而模块化会让这种对照更难做。

其他值得记下的观点

• 文本数据没有用完。Dean 不相信“数据快用完了”的说法。他认为现在的训练目标没有从每个 token 里榨出最大价值：模型在遇到答案的关键词时，或许应该在训练时多想一想；也可以像视觉领域那样遮住部分信息，逼模型从残缺的输入里推断。他提到 Dropout 发明于图像领域，文本训练里基本不用；如果在全世界的文本上训练 100 轮并配合 Dropout，能学到更多，只是很贵。
• 人类只见过约十亿个 token，却擅长很多事。Dean 认为提升样本效率要改训练目标（人是读完一章再做课后题，不是逐词预测），要用上大量还没训练的视觉数据，还要让模型主动行动、观察结果，就像婴儿把东西扔下去学会重力。Shazeer 补充说，人能从思想实验里学到很多，数学几乎不需要外部输入，DeepMind 的国际象棋程序只靠规则和自我对弈就变强了，所以模型或许能通过“自己和自己对话”变聪明。
• 同步和异步训练。Dean 说谷歌已经在跨多个城市的数据中心训练模型（Gemini 1.5 技术报告提过），因为大模型每一步训练要几秒，50 毫秒的延迟无所谓，关键是带宽。Brain 早期用 CPU 只能做异步训练，Shazeer 说转到 TPU pod 上的同步训练让他开心多了，因为实验终于可以复现，不再受同一台机器上跑着的爬虫影响。Dean 提议记录操作日志、事后重放，以兼顾异步和可复现。Shazeer 说那样能调试，但没法比较两次训练，因为另一次训练可能赶上了不同的干扰。Dean 认为随着规模变大，系统可能还是需要更多异步。
• 职业长寿的秘诀。Dean 的做法是持续留意新领域，和五六个专长不同的同事一起做事，让彼此的专长相互传染。他还维护一份内部的“疯狂点子”幻灯片，列出新能力能做的十几件事，用来吸引人一起做，而不是下命令。Shazeer 认为关键是谦逊：看到更好的想法就立刻放下自己的。他对比了两种分配资源的方式：Google Brain 自下而上，每人一份算力额度，可以凑在一起用，这种方式鼓励人放弃不灵的想法；Gemini 主要自上而下，协作更好、重复造轮子更少，但每个组都倾向于说自己的方向进展顺利以争取更多芯片。他认为未来应该两者结合。
• 在大公司里找人。Dean 说公司小的时候能记住每个人的名字，后来只能记住项目，再后来会收到邮件说“Platypus 项目周五上线”，自己完全不知道那是什么。他的建议是在公司里长期积累人脉，这样通常只要经过一个人就能找到对的人。
• Shazeer 加入谷歌的理由。2000 年他随手投了简历，看到墙上一张用蜡笔手绘的每日搜索量曲线，“看起来非常指数级”。他原本打算赚够钱就去做一辈子 AI 研究，结果发现谷歌本身就是做 AI 的好地方。Dean 补充说，谷歌“组织全世界的信息”这个使命本来就需要很先进的 AI。
• 谷歌不只是信息检索公司。Dean 认为“组织信息”包括创造新信息，以及理解各种模态，从激光雷达到基因数据。他希望任何内容都能被说任何语言的人使用，任何视频都能用任何语言观看。Shazeer 说组织信息是个万亿美元的机会，“但万亿已经不酷了，酷的是千万亿”，并强调目的是创造价值，而不是堆钱。
• 面对面的价值。两人在同一栋楼办公，那栋楼从 Charleston East 改名为 Gradient Canopy。楼里的茶水间摆了约 50 张工位，大家随口交换实验和上线信息。Dean 说自己还在大约 120 个 Gemini 相关的群聊里。

对 builder 有什么用

• 新想法先在缩小很多的规模上筛。参照 Dean 的“千分之一规模筛 10 万个想法”：给团队搭一个一两个小时就能跑完的小实验环境，先用它淘汰大部分想法，再把少数有希望的放大，而不是每个想法都直接上全量。
• 给产品加一个推理算力的“旋钮”。按任务难度分流：简单请求交给小模型或计算器之类的工具，重要或困难的任务允许多轮搜索、多次采样。把每档的成本和效果记下来，看多花的算力到底换来了多少质量。
• 用 Shazeer 的方法重算一次定价。把你的单次调用成本换算成“每美元多少 token”，再和你替代的人工（客服、分析师、工程师工时）比较。如果差距是几个数量级，就有空间用更贵的推理换更好的结果，而不是一味压缩 token。
• 在部署环节认真试一次量化和草稿模型加速。拿一个线上模型测 int8 或 int4 量化，以及 speculative decoding 的吞吐、延迟和质量变化。决策依据是“吞吐/成本”比，而不是“量化很麻烦”。
• 为后台运行的 agent 设计“中途提问”的交互。参照 Dean 的订机票例子：任务卡在需要用户决定的地方时，怎么通知用户，用户回答后任务怎么回到后台继续。同时有 20 个任务在跑时，用户怎么看到全局状态。