All reads

CastMind Reads

#419 – 萨姆·奥特曼:OpenAI、GPT-5、Sora、董事会风波、伊隆·马斯克、伊尔亚、权力与 AGI

奥特曼复职四个月后谈权力与连续性:非营利董事会的漏洞、和马斯克的分歧、GPT-4 的“烂”、按价格计算的算力需求,以及被低估的不戏剧化风险

Lex Fridman Podcast · 2024-03-18 · 02:02:04 · 22 min readWatch the original

This read is written in Chinese. Quotes are shown in both English and Chinese.

被董事会开除又复职四个月后,萨姆·奥特曼第二次坐到莱克斯·弗里德曼对面。这篇精读按他的判断拆开这两个小时:非营利董事会为什么出了结构性问题,他怎么看马斯克的诉讼,为什么说 GPT-4"有点烂",算力为什么会像能源一样按价格决定用量,以及他眼里真正被低估的 AI 风险。对正在做 AI 产品的人,里面有几条可以直接拿去用的思路。

Key points

  1. 01奥特曼认为非营利董事会只对自己负责是 OpenAI 结构的漏洞;董事会在法律上能开除他、实际却没开成,本身就是治理失败,所以他不要超级投票权,并主张由政府定规则。
  2. 02奥特曼认为马斯克的诉讼与开源无关:按他的说法,马斯克当年要完全控制权、想让特斯拉收购 OpenAI,被拒后自己离开。
  3. 03奥特曼说 GPT-4“有点烂”:GPT-5 与 GPT-4 的差距会像 GPT-4 与 GPT-3 一样大;ChatGPT 的突破主要来自后训练和产品层,而非基座模型。
  4. 04奥特曼认为算力会成为未来最珍贵的商品,需求像能源一样由价格决定,能源是最难的瓶颈,他押注核聚变。
  5. 05奥特曼认为该衡量的是 AI 能完成多少不同时长的任务,而不是取代多少岗位;他更担心不戏剧化的慢性风险,认为 AI 失控目前不是头号担忧。

节目快结束时,主持人莱克斯·弗里德曼问了整场最尖的问题:"谁先造出 AGI,谁就会拿到很大的权力。你信得过你自己吗?"

萨姆·奥特曼没有绕开四个月前的事。2023 年 11 月 17 日,OpenAI 董事会开除了他,几天后他又回到 CEO 的位置。他承认,董事会在法律上有权开除他,实际上却没开成。

虽然董事会在法律上有权开除我,但实际上这条路没走通。这本身就是一种治理失败。

Although the board had the legal ability to fire me, in practice, it didn't quite work. And that is its own kind of governance failure.

这是奥特曼第二次上这档播客,录于 2024 年 3 月。ChatGPT 发布一年多,GPT-5 还没有名字,Sora 只放出了演示视频,马斯克刚起诉 OpenAI。两个小时的话题很散。在我看来,奥特曼反复回到同一个立场:AGI 不是某天越过的一条线,而是一个连续的过程,权力、产品、风险都要按"连续"来设计。

他把那场风波看作 AGI 权力斗争的一次预演

奥特曼说,那是他职业生涯里最痛苦的经历,"混乱、羞耻、难受"。但他对这件事的定性很冷静:从 OpenAI 成立到造出 AGI,中间迟早会发生一件"疯狂而爆炸性"的事。他庆幸这件事发生得比较早,也提醒以后可能还有更多。

弗里德曼追问,他是不是早就预感到会有权力斗争。奥特曼的回答里有一处自我修正:

通往 AGI 的路注定是一场巨大的权力斗争。世界应该……不,不是"应该"。是我预计会这样。

The road to AGI should be a giant power struggle. The world should… Well, not should. I expect that to be the case.

他把"应该"改成了"预计"。前者像是在为斗争辩护,后者只是判断。

那个周末的经过,他讲得很具体:

  • 周五下午,董事会动手,他几乎得不到任何解释。他的第一反应是"董事会有权这么做"。短暂的困惑和愤怒之后,他很快接受了,甚至开始兴奋:以后可以专心做一个聚焦的 AGI 研究项目,那本来就是他最喜欢的部分。当晚,他第一次听到管理团队说:"我们要抗争。"
  • 周六早上,两位董事打来电话,说不想造成动荡、不想毁掉太多价值,问他能不能谈谈回来。他一开始不想回去,想了想自己在乎这里的人、合作伙伴和股东,于是开出了条件。
  • 接下来是最难熬的阶段。团队一边稳住公司,一边不断被告知"快好了,再给点时间"。外面的人趁乱挖人。
  • 周日晚上,董事会任命了新的临时 CEO。那是整件事的最低点。

他说那四天半几乎没睡没吃,却有惊人的精力,"战时的肾上腺素是件怪事"。但他强调,除了周日晚上那一刻,整个周末占主导的情绪是爱,不是恨。真正的低谷在事后:回来后约 45 天,他处在一种恍惚状态,一边还得把 OpenAI 运转下去。直到某天早上他对自己说:可以一直当受害者,也可以承认这是自己一生中最重要的工作,回去干活。他补充,这不等于压下去了,他有时还会半夜想起这件事。

这件事改变了他对人的默认信任。他原来的人生哲学是:

别为那些边缘情况提心吊胆。偶尔吃点亏,换来不设防地活着。

You get a little bit screwed in exchange for getting to live with your guard down.

现在他承认,自己开始为坏情况做打算,"我真的不喜欢这个变化"。他不担心变得愤世嫉俗,只担心不再默认信任别人。弗里德曼提醒他,战时环境里的领导者容易因为不信任而自我孤立,看不清世界。奥特曼的回应是:对董事会,你可以给他打各种分;对身边的团队,"你得给我一个很高的分数"。

他也提醒弗里德曼,花二十分钟聊一个戏剧性的周末可以理解,但"OpenAI 真正是关于另外那七年"。他夸 CTO 米拉·穆拉蒂时用的是同一个逻辑:人们常在危机里看领导者,他更看重的是"一个无聊的周二早上 9 点 46 分",一个人怎么开会、做出什么质量的决定。

非营利董事会只对自己负责,这是结构里的漏洞

奥特曼说,董事会本来就该有很大权力。问题在于约束。在多数公司,董事会要对股东负责。非营利组织的董事会,除非另立规则,"其实谁都不用回应,只对自己负责"。 他说这是当初设计结构时"也许该多想想"的地方。他希望 OpenAI 董事会在可行的范围内,对整个世界负责。

旧董事会的问题,他点了两条:

  • 一年里从九人缩到六人,之后大家在增补人选上谈不拢;
  • 有经验的董事不多。新董事会里的人更有当董事的经验。

新董事会的头两个人,布雷特·泰勒(前 Salesforce 联席 CEO)和拉里·萨默斯(前美国财长),是那个周末"在战场上"定下来的,没时间设计严谨流程。萨默斯其实是旧董事会提的人选。泰勒是奥特曼之前就推荐过、当时没空的人。奥特曼说,他要回来,就必须换董事,他没法和原班人马按原来的配置共事。最后保留了原董事亚当·德安杰洛,组成三人董事会。

之后的增补,他们换了方法。泰勒有一句话奥特曼很喜欢:董事要"按组招,不按个人招"。招高管是要一个人把一个角色做好,董事会则要整体做好治理。所以他们按组合配:非营利经验、经营公司的经验、法律和治理经验。技术背景要有,但不是每个人都要。他说,他和弗里德曼这类人容易犯的错,是以为只有技术理解重要,其实这项技术怎么影响社会和普通人的生活,也必须有人在董事会里代表。

弗里德曼问他看不看履历,奥特曼给了一个数学比喻:有些岗位他完全不看履历,只看斜率,忽略截距。也就是只看一个人成长有多快,不看他现在在哪。但选董事,他更在乎截距,经验很难替代。弗里德曼接着问要不要拟合多项式,他说"这个比喻撑不了那么远"。

回到开头那个权力问题,奥特曼的完整回答是这样一条推理:

  1. 他至今认为,不应该由他或任何一个人完全控制 OpenAI 或 AGI,需要稳健的治理体系。
  2. 他承认风波里自己的行为有矛盾:一开始没抗争,觉得那是董事会的意志;后来明确抗争了。他说自己能为细节辩护,多数人也会认同。
  3. 但事实是董事会没能真正开除他。这让他"很难看着你的眼睛说,董事会随时可以开除我"。
  4. 所以他继续不要超级投票权(一股多票、让创始人锁定控制权的股权设计),"从来没有过,也从来不想要"。他认为不该由任何一家公司做这些决定,需要政府定下"交通规则"。

他预见到马克·安德森这类人会说他在搞"监管俘获",也就是大公司推动监管、用规则把后来者挡在门外。他说"我愿意被误解",时间会证明。弗里德曼补了一个更乐观的角度:董事会推不动,也说明人还有力量,董事会不能独大。奥特曼同意,"权力制衡是好事"。

他认为马斯克的诉讼其实和"开源"无关

弗里德曼问马斯克的诉讼到底在批评什么。奥特曼先说"我不知道它真正是关于什么",然后讲了 OpenAI 结构的来历。

七八年前,语言模型还不是大事,他们没想过 API,没想过卖聊天机器人,甚至没想过要做产品,只是一个研究实验室。他说做全新的东西,起初都是在黑暗里摸索,做的假设大多是错的。后来发现需要做不同的事,需要多得多的资本。原结构撑不住,就打补丁,再打补丁,最后变成一个"至少让人挑眉"的东西。他的辩护是:每一步都是合理的决定。他也承认,如果能带着先知回到过去,会完全换一种做法。

弗里德曼说,OpenAI 和很多人"选择了和马斯克分道扬镳"。奥特曼当场纠正:"是伊隆选择离开。" 按他的说法,马斯克认为 OpenAI 会失败,想要完全控制权来扭转局面。他还想让特斯拉做自己的 AGI 项目,不同时候提过把 OpenAI 变成他能控制的营利公司,或者并入特斯拉。奥特曼说,他记得提议就是"被特斯拉收购,由特斯拉完全控制","我很确定"。他们不同意,马斯克就走了。

关于名字里的"Open",奥特曼说如果能重来,他会换个名字。他心里最重要的"开放",是把强大的工具免费交到人手里,当作公共物品:免费版不投广告,也不用别的方式变现。至于开源,他认为有些该开、有些不该开,这已经变成一条"宗教式的战线",很难讲细微差别,但细微差别才是对的答案。他也承认,能在本地跑的小模型有巨大需求,未来会是开源和闭源并存。

他认为马斯克说"改名叫 CloseAI 我就撤诉",正好说明了这场诉讼有多认真。他还提到,马斯克的 Grok 原本什么都没开源,被人指出有点虚伪后,才宣布本周开源。所以他的结论是:开源与否不是马斯克真正在意的事。

他对马斯克的评价是两层的。一层是:"这整件事配不上一个建造者的身份。" 另一层是尊重:马斯克是这个时代最伟大的建造者之一,被黑过,应该懂被攻击的滋味。他说自己在一次采访里说"我想念过去的伊隆",收到大量消息说"这正是我的感受"。弗里德曼说 AI 安全需要合作,不该各自筑墙。奥特曼回了一句:合作"不是他最出名的地方",但马斯克至少说过很在乎 AI 安全,他假定马斯克不会不安全地竞速。

关于先非营利、后加营利部门的路径,他的建议很直接:强烈劝阻任何创业公司这么做,他不认为 OpenAI 会成为先例。如果早知道会走到今天,他们也会直接做营利公司。弗里德曼提到可能有税务好处,奥特曼说大多数人不这么想,而且有法律会让这条路很难走。

GPT-4"有点烂",ChatGPT 的突破在模型之外

弗里德曼问 GPT-4 最让他惊艳的能力是什么,奥特曼答:"我觉得它有点烂。"

他马上解释:GPT-4 当然了不起,但相对于要去的地方,它会像今天回头看 GPT-3 一样。他预计 GPT-5 和 GPT-4 的差距,会和 GPT-4 与 GPT-3 的差距差不多。

我们的工作就是活在几年后的未来,记住今天手里的工具,回头看都会有点烂。这样才能保证未来更好。

I think it is our job to live a few years in the future and remember that the tools we have now are going to kind of suck looking backwards at them and that's how we make sure the future is better.

他眼里 GPT-4 闪光的地方有两个。一个是当头脑风暴伙伴:起名字,换角度想问题,"不知道该怎么办"的时候。另一个是长链条任务:拆成多步,执行其中一些,搜索、写代码,再拼起来。他说这种情况成功时"很神奇",但"不常成功"。他强调的是模型自己做完一个十步问题,不是和人来回迭代。

他对 ChatGPT 那一刻的拆解,对做产品的人很有用。他说那是世界从"不信"变成"信"的时刻,但功劳主要不在底层模型,而在界面和产品。这里的产品包括后训练:在基座模型之上,用 RLHF(基于人类反馈的强化学习,可以理解为让人给回答打分,再把模型往高分方向调)等方法,把它调得有用、好用。他说这一层从算力角度看只是"一层小包装",但工作量巨大。OpenAI 当时要做两件从没人做过的事:发明底层技术,再把它变成人们喜爱的产品。 扩容支撑大量用户同时使用当然也难,但那是别的公司做过的已知难题。

几条关于产品现状的判断:

  • 上下文窗口(模型一次能"看到"的文本长度)从 8K 涨到 128K,但多数人大多数时候用不到 128K。他梦想的是几十亿级别的上下文,把你的全部历史都喂进去。他引用了一段比尔·盖茨谈早期电脑内存的视频,说自己记不清具体数字,要点是人总想象不出未来会需要多少内存,但跟着指数走,总会找到用法。
  • 记忆功能,他想要的不只是记住事实,而是"吸收教训":比如记住 11 月发生的事,将来提醒他该做什么不同、该提防什么。隐私问题他的答案是"非常简单的用户选择":想删什么就删,不想让它记任何东西也行。弗里德曼要求公司对此保持透明,他同意。
  • 他最感兴趣的用户行为,是把 ChatGPT 当作一切知识工作的默认起点,这类人多半更年轻。
  • 幻觉(模型编造听起来可信的内容)会在接下来的版本里好很多,但"今年解决不了"。他认为用户比我们以为的更老练,都知道关键的事要核对。

在搜索和广告上,他的判断同样是"产品层比模型层更重要",放在后面单独写。

进步是连续的,要避免的是惊吓

弗里德曼说,外人看 OpenAI 的进展像一次次跳跃。奥特曼说,在他看来"一切都挺连续的"。

这是 OpenAI"迭代部署"策略的出发点:不闷头憋到 GPT-5 一次性亮相,而是 GPT-1、2、3、4 一路公开。他给的理由有两个。一是:

AI 和意外不该放在一起。

AI and surprise don't go together.

二是世界、人和机构需要时间适应,要在被逼到墙角、不得不仓促决定之前,想清楚要什么样的系统、结构和治理。他认为这是 OpenAI 做过的最好的事之一。

但他接着做了一次自我反思:既然像弗里德曼这样的人还觉得有跳跃,也许发布应该更加迭代。他没有现成答案,只说"我们好像哪里没做对",也许 GPT-5 应该换一种方式发布。弗里德曼开玩笑说那就 4.71、4.72,人类喜欢里程碑。奥特曼承认他们自己也喜欢里程碑,宣布一次胜利再开始下一个,很爽。

关于 GPT-5,他说"不知道什么时候发布"是诚实的回答,只说今年会发布一个"很棒的新模型",叫不叫 GPT-5 不知道,在那之前还有很多别的东西要先发。

瓶颈在哪?算力、新技术、还是别的?他说"永远是全部",并转述伊尔亚·苏茨克维(OpenAI 联合创始人、首席科学家)的一句话,说自己会转述得不准:

我们把 200 个中等大小的东西乘在一起,变成一个巨大的东西。

We multiply 200 medium-sized things together into one giant thing.

他说这在技术上"尤其成立"。只有少数人负责整体拼装,但很多人都尽量把全局放在脑子里。他由此讲到自己的一个变化:过去他有一张科技行业几乎所有前沿的地图,常能看出不同领域之间的联系,如果只深耕一处就想不到。现在他扎得太深,"已经没有那张地图了",但他知道它有价值。

关于推理,弗里德曼问,现在模型给每个 token 分配的算力差不多,有没有空间做更慢、更有序的思考。奥特曼认为会有一个新范式。怎么实现没那么重要,重要的是:难题应该多想,简单问题应该快答。"证明费马大定理"和"今天几号"不该用一样多的算力。至于外界传得神秘的 Q* 项目,他说"还没准备好谈",只重复了公开立场:更好的推理是重要方向,"我们还没破解"。他顺带吐槽,OpenAI 一直被泄密困扰,"不擅长保密"。

问他对 GPT-5 最期待什么,他说"更聪明"。他知道这听起来敷衍,但特别之处在于:不是这里变好、那里变差,而是全面变好。

算力会像能源一样,用量由价格决定

关于"融资 7 万亿美元"的传闻,奥特曼先澄清:他从没发推说要融 7 万亿,只是在错误信息出现后玩了一次梗。但梗背后的判断是认真的:

我认为算力会成为未来的货币,可能是世界上最珍贵的商品。

I think compute is going to be the currency of the future. I think it will be maybe the most precious commodity in the world.

他用手机芯片做对比,推理过程值得完整写下来:

  • 手机芯片市场有天花板。全球约 80 亿人,假设 60 亿人有手机,两年一换,每年大约 30 亿颗手机芯片。造 300 亿颗也卖不出十倍的手机,因为大多数人只要一部。
  • 算力不一样。智能更像能源,唯一有意义的说法是:价格为 X 时,世界会用这么多;价格为 Y 时,会用那么多。
  • 如果足够便宜,他会让 AI 整天读他的邮件、给他建议,同时去攻克癌症。如果很贵,也许只用来攻克癌症。

所以他认为,世界需要的算力会大到"现在很难推想"。难点按他的排序是:能源最难,数据中心也难,供应链难,造出足够的芯片难。能源的答案,他相信是核聚变,认为 Helion 做得最好,也乐见现在有一场聚变竞赛。他同样希望世界重新接纳核裂变,建新的反应堆,觉得这个行业停滞"很可惜",并同意弗里德曼"群体性恐慌"的说法。

对竞争,他的回答也是两面。好处显而易见:产品更好、创新更快、更便宜。坏处是可能演变成军备竞赛,他说自己确实感到了这种压力。他用一个四象限框架讲他想要的局面:AGI 来得早还是晚,起飞(从 AGI 到远超人类的过渡)是快还是慢。他认为"来得早、起飞慢"是最安全的象限,也是他最想待的地方,关键是确保起飞够慢。

该数的是 AI 能做多少任务,而不是取代多少岗位

弗里德曼问,五年后 YouTube 上会有多少 AI 生成的内容。奥特曼把问题换了一个框架。人们习惯问 AI 五年内会取代百分之多少的工作,他认为更有意义的问法是:

不是 AI 会做百分之多少的工作,而是在某个时间跨度上,AI 会做百分之多少的任务。

The way I think about it is not what percent of jobs AI will do, but what percent of tasks will AI do over one time horizon.

把经济里的任务按长度排开:五秒的、五分钟的、五小时的,甚至五天的,问 AI 各能做多少。他认为 AI 作为工具,会在越来越长的时间跨度上做越来越复杂的任务,让人在更高的抽象层上工作。效率提升到一定程度,变化就不只是量,也是质,会改变一个人"脑子里能装下的问题"。落到 YouTube 上:很多视频,也许大多数,会在制作中用到 AI,但仍然由一个人构思、组装、导演。

同一个框架也用在编程上。五到十年后人还会写很多代码,但形态完全不同,有些人可能完全用自然语言编程,就像今天没人再用打孔卡。最好的从业者会混用多种工具:一部分工作用自然语言,需要写 C 的时候就写 C。他认为技能会变,但适合做程序员的那类人的特质会不会变,"不确定"。

关于 Sora,他的判断是:这些模型对世界的理解,比大多数人以为的多。正因为它们有明显的错,人们容易看穿缺陷,说"全是假的",但其实是一部分有效、一部分无效。他举的例子是:一个人从物体前走过、挡住几秒,走开后物体还在。弗里德曼据此说模型掌握了三维物理,奥特曼马上收紧了说法:它确实在用某种方式很好地处理遮挡,但说它有很好的底层 3D 世界模型"有点牵强"。猫在视频中途多长出一条腿这类问题,他认为既是方法本身的局限,也会随规模改善。训练细节他不谈,只说"我们用了大量人类数据"。发布前要先解决效率,才能撑起需求,深度伪造和虚假信息的风险也"不用多想就能想到"。

版权问题,他认为真正的问题是:创造有价值数据的人,该不该有办法获得补偿。他的答案是该,但具体怎么做还不知道。如果他是艺术家,会希望能选择不让别人生成自己风格的作品,如果被生成,要有对应的经济模式。"模式会变,但人得拿到钱。" 对创作者的焦虑,他拿摄影做类比:摄影出现时艺术家也很担心,后来摄影成了新的艺术形式,很多人靠拍照赚钱。他也认同弗里德曼的观察:人类非常在乎其他人类,汽车比人快得多,我们照样赛跑。

机器人方面,他说如果有了 AGI,物理世界里的事还得靠人去做,"那就太令人沮丧了"。OpenAI 当年放下机器人,是因为公司小、必须聚焦,而且当时机器人"难在了不该难的地方"。他们会在某个时候回到机器人。

世界不需要另一个谷歌,他也不想要广告

弗里德曼问 OpenAI 会不会去挑战谷歌搜索。奥特曼说这个问题"很无聊"。谷歌给你十条蓝色链接,"嗯,13 条广告再加 10 条蓝色链接",那只是找信息的一种方式。做一个更好的谷歌副本,是很难的技术问题、品牌问题和生态问题,很多人试过。他感兴趣的是:有没有更好的方式,帮人找到、综合并利用信息。有时是生成答案,有时是综合,有时是指个路。他认为 ChatGPT 在某些场景已经是这样,LLM 加搜索的结合点"还没人破解",他很想去做。

广告,他说"作为一种审美选择,我有点讨厌广告"。他认为广告是互联网起步阶段的必需,是"一个阶段性的产业",现在世界更富了。他喜欢用户为 ChatGPT 付费、知道答案没被广告主影响。他也承认,肯定存在适合 LLM 的广告形态,也可能有不带偏见地参与交易流的方式,但很容易想到反乌托邦的版本:你问个问题,它建议你买某个产品、去某地度假。他说在 AI 的世界里,广告模式会变得更糟,而不是更好。弗里德曼提醒别把广告一棍子打死,奥特曼把话收回一点:"我不是那个意思,我只是说我对广告有偏见。" 能不能不靠广告撑起一门付得起算力的生意?他说"答案是能",前提是还得想清楚怎么增长。

他认为最被低估的风险,是那些拍不成电影高潮的风险

谈到核电时,奥特曼担心 AI 会重复同样的命运。他说 AI 的好处会远大于坏处,但坏处一定会有。其中有些很坏,却"不戏剧化"。死于空气污染的人远多于死于核反应堆的,但大多数人更怕住在反应堆旁边,而不是燃煤电厂旁边。人类天生更在意能当电影高潮的风险,而轻视长期慢性的坏事。 他还说,自己最终被枪击的概率"不是零"。他也预计 AI 会被卷进左右之争,"有分量的东西都逃不过"。

所以当弗里德曼问他怕不怕失去对 AGI 本身的控制,他说那"不是我目前最担心的事"。过去更担心过,将来也可能再变成头号担忧,现在不是。不是头号担忧不等于不用做,这很难,OpenAI 有人在做。但他认为 AI 逃出盒子正是一种戏剧化风险:一大批聪明、善意的安全研究者被这一个问题"牢牢套住",他认为进展不大,却把很多其他重要风险挤出了讨论。

他理解的安全很宽:国家行为者试图偷模型,技术对齐,社会和经济影响。他说迟早有一天,安全会成为整个公司主要在想的事,不是某一个团队的事,就像发布 GPT-4 时全公司都得参与。问到国家行为者是否在试图渗透 OpenAI,他只说了三个字:"他们在试。"

关于模型偏见,弗里德曼举了谷歌 Gemini 生成黑人纳粹、黑人开国元勋图像的风波。奥特曼说 OpenAI 也犯过错,以后还会犯,然后给了一个具体方案:把模型应有的行为写出来,公开,收集意见,连边缘情况一起写。这样模型表现不对时,至少能分清是公司该修的 bug,还是按设计运行、该讨论的政策。弗里德曼说谷歌也有公开的原则,但写得很高层。奥特曼说那不是他要的,必须具体到"当你让它做 X 时,它应该以 Y 的方式回应"。至于旧金山的意识形态氛围,他觉得 OpenAI 很幸运,比他听说的很多公司少卷入文化战争,部分原因是公司已经有了自己的"意识形态":相信 AGI,它挤掉了一些别的东西。

那 AGI 什么时候来?奥特曼说他以前很爱猜,后来发现这个问题定义得很糟,每个人对 AGI 的定义差别极大。他更愿意谈系统什么时候能做到某项具体能力。AGI 也不是终点,更接近起点,更像一个里程碑。为了不显得在回避,他还是给了一个判断:到这个十年结束,甚至更早,会出现让人看了说"哇,真了不起"的系统。 弗里德曼说 GPT-3.5 拿给 90 年代的人看,很多专家会说这就是 AGI。奥特曼不同意:3.5 改变了世界对未来的预期,这很重要,他甚至说做到这一步就可以满意退休,但它没有改变世界本身。他反问:GPT-4 发布前后,全球经济有什么实质不同吗?弗里德曼说没有。对奥特曼来说,AGI 应该包含经济层面的明显转变,但不是"奇点"级别的。

他个人最看重的标志是:一个系统能显著提高世界科学发现的速度。 理由是,他相信大部分真实的经济增长来自科学和技术进步。弗里德曼问他拿到第一个 AGI 会问什么,他说很难想出一个它答得了的问题。他最想问物理的大统一理论,但不指望第一个 AGI 能回答,哪怕只是是或否。更可能的情况是,它说:"你要知道答案,得先造这台机器,做这五个测量。"

这些判断合起来,指向一个还没解决的张力。奥特曼要的是连续、可预期、不由任何一个人控制的 AGI 进程,但他自己也承认,迭代部署仍让外界感到跳跃,董事会在关键时刻推不动 CEO,要求政府立规则又会被看成监管俘获。他给出的方向是清楚的,具体机制他在这一期里还没有给出。

其他值得记下的观点

  • 奥特曼说伊尔亚没有"看到 AGI","我们谁都没见过 AGI"。他形容伊尔亚极其认真地对待 AGI 安全和社会影响,是过去几年和他讨论这些最多的人之一。他希望和伊尔亚一起工作到职业生涯结束,但伊尔亚的计划要问本人。
  • 他从不同角度谈了 AGI 的形态:它可能不像一个单独的大脑,而更像社会中所有人共同搭起的"脚手架"。现代人和曾曾祖父母的基因差别不大,能力却天差地别,靠的是集体积累。没有一个人能独自造出 iPhone,但每个人都能用它。
  • 对模拟假说,他说能生成世界会让人"稍微"提高概率,但 Sora 的成功不在他的前五条证据里。他转述别人的一个洞见:平方根这种简单的运算,问到负一的平方根时,就把人带进了全新的数学领域。很多看似简单的想法都有这种"致幻"效果。
  • 他不在推文里用大写,是因为从小在即时通讯上长大,那时大家都不用大写。写公司战略备忘录或正式长消息时他都会大写。
  • 对费米悖论,他"非常希望"答案是存在外星文明,并觉得这个悖论令人困惑。
  • 被问到死亡,他说如果知道明天会被枪击,他会遗憾看不到接下来会发生什么,但主要是感激。

对 builder 有什么用

  • 用"任务时长"给产品划边界:把目标用户一天的工作拆成五秒、五分钟、五小时、五天四档,标出今天的模型能稳定做完哪些。产品先做能稳定完成的那一档,再留好接口,等模型能力往更长的任务延伸。这是奥特曼"数任务,不数岗位"框架的直接用法。
  • 给自己的 AI 产品写一份具体的行为规范:不写"我们重视公平"这类原则,写"用户问 X,产品应该回 Y",把边缘情况列出来。下次有用户投诉,先查规范,分清是该修的 bug,还是需要讨论的政策。
  • 把后训练和产品层当作主战场:奥特曼说 ChatGPT 的突破主要来自界面和后训练,不是基座模型。如果你也用通用模型,就把精力放在提示、评测、微调和交互设计上,并定期回看:一年后的模型会让今天的方案"有点烂",哪些部分到时可以直接扔掉。
  • 按价格曲线设计功能:列一张表,写出推理成本降到今天的十分之一、百分之一时,你的产品能多做什么,比如持续读邮件、后台常驻分析。今天先把最贵、最高价值的场景做出来,便宜后才合理的功能提前做好架构准备。
  • 公司结构一开始就选定:奥特曼明确劝阻"先非营利、后加营利部门"。如果你在设计带使命色彩的公司,先用书面形式回答一个问题:董事会对谁负责,谁能约束它。不要指望日后打补丁。

In their words

“The road to AGI should be a giant power struggle. The world should… Well, not should. I expect that to be the case.”

通往 AGI 的路注定是一场巨大的权力斗争。世界应该……不,不是“应该”。是我预计会这样。

— Sam Altman · 00:03:08
“You get a little bit screwed in exchange for getting to live with your guard down.”

偶尔吃点亏,换来不设防地活着。

— Sam Altman · 00:22:52
“Although the board had the legal ability to fire me, in practice, it didn't quite work. And that is its own kind of governance failure.”

虽然董事会在法律上有权开除我,但实际上这条路没走通。这本身就是一种治理失败。

— Sam Altman · 00:38:14
“I think it is our job to live a few years in the future and remember that the tools we have now are going to kind of suck looking backwards at them and that's how we make sure the future is better.”

我们的工作就是活在几年后的未来,记住今天手里的工具,回头看都会有点烂。这样才能保证未来更好。

— Sam Altman · 00:45:11
“AI and surprise don't go together.”

AI 和意外不该放在一起。

— Sam Altman · 01:04:22
“We multiply 200 medium-sized things together into one giant thing.”

我们把 200 个中等大小的东西乘在一起,变成一个巨大的东西。

— Sam Altman · 01:07:21
“I think compute is going to be the currency of the future. I think it will be maybe the most precious commodity in the world.”

我认为算力会成为未来的货币,可能是世界上最珍贵的商品。

— Sam Altman · 01:10:01
“The way I think about it is not what percent of jobs AI will do, but what percent of tasks will AI do over one time horizon.”

不是 AI 会做百分之多少的工作,而是在某个时间跨度上,AI 会做百分之多少的任务。

— Sam Altman · 00:42:01
“I don't think the world needs another copy of Google.”

我不觉得世界需要另一个谷歌。

— Sam Altman · 01:19:04
“The model changes but people have got to get paid.”

模式会变,但人得拿到钱。

— Sam Altman · 00:40:53

Concepts to know

通用人工智能AGI
能在广泛任务上达到或超过人类水平的 AI。奥特曼认为这个词定义混乱,更愿意谈具体能力,他个人看重的标志是显著加快科学发现。
迭代部署Iterative deployment
OpenAI 的发布策略:不闭门憋出最终版本,而是一代代公开发布,让社会和机构有时间适应。
基于人类反馈的强化学习 / 后训练RLHF / post-training
在预训练好的基座模型上,让人给回答打分,再把模型往高分方向调,使它更有用、更好用。奥特曼认为这是 ChatGPT 成功的关键一层。
上下文窗口Context window
模型一次能“看到”的文本长度,类似工作记忆。GPT-4 Turbo 从 8K 扩到 128K token。
超级投票权Super-voting shares
一股多票的股权设计,常用来让创始人锁定公司控制权。奥特曼说他从未拥有也不想要。
监管俘获Regulatory capture
大公司推动或影响监管,让规则偏向自己、挡住后来者。奥特曼主张政府立规时被批评为此,他否认。
慢起飞 / 快起飞Slow vs. fast takeoff
从 AGI 出现到远超人类之间的过渡快慢。奥特曼认为 AGI 来得早、起飞慢是最安全的组合。
幻觉Hallucination
模型编造听起来可信但不真实的内容。奥特曼说会在新版本中改善,但短期内解决不了。

Turning points

  1. 2023 年 11 月 17 日(周五)

    被董事会开除后,奥特曼很快接受,开始规划一个聚焦的 AGI 研究项目。

    他认为董事会有权这么做,且和研究者一起工作本是他最喜欢的部分;代价是一度准备放弃 OpenAI。

  2. 2023 年 11 月 18 日(周六)

    两位董事来电请他回归,他起初不愿意,随后同意谈并开出条件,其中包括必须更换董事会。

    他在乎公司的人、合作伙伴和股东;他认为无法和原董事会按原配置共事,于是在仓促中选定布雷特·泰勒、拉里·萨默斯,保留亚当·德安杰洛,组成三人董事会。

  3. 复职后约 45 天

    在恍惚状态中,他决定不再以受害者自居,回到工作上。

    他认为这是一生中最重要的工作;代价是带着创伤运营公司,并且不再像以前那样默认信任他人。

  4. OpenAI 早期

    OpenAI 拒绝马斯克提出的完全控制或并入特斯拉的方案,马斯克离开。

    按奥特曼的说法,团队想沿着后来成为 OpenAI 的方向继续走;代价是失去马斯克,并埋下日后的诉讼。

  5. OpenAI 暂时放下机器人研究。

    公司小、必须聚焦,且当时机器人“难在了不该难的地方”;他说将来会回到机器人。

Read with care

  • 董事会风波的经过、马斯克当年的诉求(要完全控制、想让特斯拉收购 OpenAI)都是奥特曼的单方叙述,马斯克在诉讼中有不同说法;奥特曼也没有谈董事会开除他的理由。
  • 他点名 Helion 在核聚变上做得最好,而公开报道显示他本人是 Helion 的主要投资人;他对算力需求的推算,前提是算力价格会持续大幅下降。
  • 这期录于 2024 年 3 月。之后伊尔亚于 2024 年 5 月离开 OpenAI 并创办 Safe Superintelligence,OpenAI 于 2024 年 9 月发布 o1 推理模型,GPT-5 于 2025 年 8 月发布;文中“推理还没破解”“不知道 GPT-5 何时发布”等说法只代表当时。
  • 多个话题他明确拒答或只给了概括:Q* 的内容、Sora 的训练细节、国家行为者渗透的细节、伊尔亚的计划,正文对这些只能写到他公开说的程度。

Adapted from the public interview transcript. Quotes are excerpts; watch the original for full context. Reviewed 2026-10-28