All reads

CastMind Reads

走进为每个前沿 AI 模型提供训练数据的专家网络 | Garrett Lord(Handshake CEO)

Handshake 的 Garrett Lord 讲后训练为什么需要专家而不是通才、人类数据生意唯一的护城河是触达人群,以及如何在十年老公司里把新业务彻底拆出来跑

Lenny's Podcast · 2025-08-24 · 01:09:50 · 18 min readWatch the original

This read is written in Chinese. Quotes are shown in both English and Chinese.

Handshake 做了十年大学生求职平台。2025 年 1 月,它在内部起了一个给 AI 实验室做训练数据的新业务,主持人 Lenny 说这项业务四个月做到 5000 万美元 ARR。CEO Garrett Lord 在这期里讲了两件事。第一件是前沿模型的后训练到底需要什么样的人类数据,为什么这门生意的胜负取决于谁能触达专家。第二件是他怎么在一家 600 人的成熟公司里,把一个从零到一的新业务彻底拆出来跑。

Key points

  1. 01Garrett Lord 认为,预训练在一两年前就因为吸干了互联网知识而趋于平缓,模型的主要进步来自后训练,实验室在按假设、小样、放量的实验流程收集针对性数据。
  2. 02他认为模型已经强到普通人很难挑出错误,标注市场从低成本通才转向博士级专家,专家的工作是弄坏模型、给出正确答案和推理步骤。
  3. 03他认为人类数据唯一的护城河是触达人群:对手靠上百名招聘专员和大笔广告找专家,Handshake 凭十年信任和高校合作几乎零获客成本,留存也更高。
  4. 04他认为在老公司里起新业务必须一切分开:独立团队、汇报线、激励和节奏,创始人亲自下场,从第一天起按指标运营。
  5. 05他不认同学生训练模型会让年轻人失业的担忧,认为 AI 原生的年轻人更有优势,但也承认会有大量岗位演变和人员被替代。

有一段时间,Handshake AI 团队在白板上画出了一年剩下的天数。Garrett Lord 给团队定了一句口号:什么都别交给运气。

不会再有这样的时刻了。我从没见过这种情况,我也怀疑这辈子做生意还能不能再有这种感觉:需求是无限的。

There will never be a time like this. I've never seen anything like it. I doubt I'll ever feel anything like this in business again where there's unlimited demand.

他要的是三个月、六个月之后回头看没有遗憾。具体到动作上:该飞去见客户就上飞机,该熬夜就熬夜,数据检查六遍。

说这话的人经营的是一家已经十岁的公司。Handshake 可以理解成"大学生版的 LinkedIn",学生在上面找实习和第一份工作。按 Lenny 的介绍,它覆盖 1500 多所高校、2000 多万学生和校友、100 多万家雇主,财富 500 强全部在用。Garrett 说这块核心业务一年大约 2 亿美元收入。

2025 年初,他意识到平台上那几十万博士和几百万硕士,正是 AI 实验室最缺的东西。Lenny 在访谈里给出的数字是:新业务四个月做到 5000 万美元 ARR,第八个月时有望在一年内破 1 亿。Garrett 的回应是"我觉得我们会远远超过这个数"。照这个速度,新业务不到两年就会超过一个做了十年的老业务。

预训练吃完了互联网,增长挪到了后训练

Lenny 先让 Garrett 讲清楚一件很多人似懂非懂的事:数据标注到底在干什么。

Garrett 从模型训练的两个阶段讲起。预训练(pre-training)是让模型吞下人类写下和录下的几乎全部知识:网页、书、YouTube 视频。很长一段时间里,前沿实验室的重心都在这里,把更多数据塞进去,模型就变好。

他的判断是,大约 18 到 24 个月前,预训练带来的提升开始趋于平缓,原因很直接:互联网上的知识基本被吸干了。于是实验室把主要精力转向后训练(post-training)。后训练相当于学生读完所有教材之后,再请专门的老师逐科补课。实验室挑出自己在意的能力方向,比如编程、数学、法律、金融,针对性地收集高质量数据,补强模型在这些方向上的表现。

Garrett 把实验室里研究员的工作描述成一套科学实验流程:

  1. 提出一个"怎样能让模型变好"的假设;
  2. 先收集一小批数据验证;
  3. 假设成立,就把这类数据的采集规模放大。

数据形态五花八门。有监督微调(SFT)用的"提示-回答"对;基于人类反馈的强化学习(RLHF)用的偏好排序,也就是让人判断回答 A 和回答 B 哪个更好;还有轨迹数据、强化学习环境、音频和多模态数据。现在实验室很看重推理模型,要改进推理,就需要一步一步的解题过程,因为前沿模型在很专业的领域里经常在中间步骤上出错。

Lenny 想把这些归成"RLHF 和微调两大类",Garrett 的回答是"是也不是"。比如你想让模型学会订机票、走完一整套会计流程、做生物实验,就需要轨迹数据,它不在这两类里。实验室各自对该收什么数据有自己的看法,而且变化很快。

模型已经强到不再需要通才

这是整期最反直觉的一个判断。一提起数据标注,很多人脑子里还是"在图片上给停车标志画框"那类工作。Garrett 说这个市场已经变了。

模型已经好到不再需要通才了。它们真正需要的是专家。

The models have gotten so good that the generalists are no longer needed. What they really need is experts.

过去,标注市场主要依靠海外低成本劳动力做基础的通用任务。现在模型在常识层面已经很强,普通人很难再挑出它的错。普通人弄不坏模型,这正是专家进场的地方。 一个物理学博士可以在物理学的多个子领域里找出模型的破绽:可能是推理步骤错了,可能是标准答案错了,也可能是一用工具、一要求按步骤执行就崩。

他用博士学位的定义来解释为什么博士特别有用:拿到博士要答辩,答辩意味着你证明了自己把某个领域的人类知识往前推了一点。这类知识很多从没出现在互联网上,预训练自然学不到。Handshake 手里有 50 万博士、300 万硕士,可以精准定位到化学、数学、物理、生物、编程的具体人群。

实验室往哪个方向投入,取决于哪种能力在经济上最值钱。Garrett 说眼下主要是高阶的理工科,其次是由此派生的会计、法律、医学、金融。专家需求也不只在顶端。Handshake 也有几百万本科生在做音频相关的工作,比如根据地域调整模型的声音和语气,或者区分男性和女性用户的偏好。

专家的活儿,是把模型弄坏再修好

Lenny 追问:一个博士坐在那儿,具体在干什么?

Garrett 推荐了一篇公开论文 GPQA。GPQA 是一组由领域专家编写、连非本领域的聪明人上网查也很难答对的研究生级科学题。它的核心流程是三步:先把模型弄坏,再给出标准答案,最后写出逐步的推理过程。

这里有一个细节。模型的输出带随机性,同一道题它可能答对一次,五次里却错三次。所以专家要证明模型确实在这里失败,还要定位失败在哪。常见的情况是模型知道题目、也能碰对答案,但推导过程是错的。比如一道数学题有 10 步,第 6 到第 10 步错了。实验室最在意的就是怎么修正这些步骤。

他举了一个"不可验证领域"的例子。可验证领域指答案能被客观检查的领域,比如数学题、能跑通的代码;教育设计这类领域没有唯一正确答案。平台上有位叫 Rachel 的博士,在迈阿密大学拿到教育学博士学位,当过很多年八年级老师,还在社区学院做兼职教授。她的工作是和最新模型在教学设计上来回过招,指出模型教人的方式哪里不对,把一线经验和学术前沿一起喂给模型。

另一类是专业场景下的轨迹数据。Lenny 问"轨迹"到底是什么,Garrett 的解释是:把一个人完成任务的整个环境都记录下来,包括屏幕、鼠标移动,以及他边做边讲的旁白。做到一半卡住了怎么办,也要录下来。实验室想弄清楚的是人怎么思考。这些工作最终交付的形态,可以就是结构化的 JSON 数据。

还有一种他称为 rubric(评分标准)的工作。有些领域没有标准答案,比如什么是好的教学设计、怎样算一份好的 MRI 结论。这时可以让模型当裁判,按专家写好的评分标准自动给回答打分。Garrett 拿写论文打比方:一篇 5000 字的论文怎样拿 A?开头要有好的引言,论证要有科学依据。把这些条目写下来,就是 rubric。Handshake 不做自动评估本身,但做被自动评估使用的 rubric。

实验室要三样东西:质量、数量、速度

Lenny 提出一个看法:为什么要信一位老师的意见?市场会说话,模型越来越受欢迎,说明数据是对的。

Garrett 没有接这个"市场自会验证"的说法。他先承认自己没有 AI、数学或物理的博士学位,然后把问题拉回到实验室真正关心的地方:怎么证明每一单位数据确实让模型变好了,这件事本身就有大量研究,模型方自己也很难判断。所以 Handshake 自建了研究团队和后训练团队,从 Meta 挖来一位做过后训练的人,还自己租 GPU,在单条数据的粒度上估算它能带来多少提升。

他说实验室在意三件事,顺序是:

  • 质量第一。他用教学生打比方:给学生灌了错误的知识,事后很难纠正过来。
  • 数量。在最前沿的化学、数学、物理领域,怎么做出成千上万条数据,还保证质量?Handshake 的做法是直接找斯坦福、伯克利、麻省理工物理系 GPA 最高的学生。
  • 速度。研究员手上同时押着三四个假设。一旦某个显出提升,就要立刻放大那条数据管线,砍掉另外两三个没效果的项目。能在几天内交付,再迅速放量,是他们最看重的能力。

"人类数据唯一的护城河,是触达人群"

Lenny 提到 Scale AI:这家原本的头部数据公司"差不多以 300 亿美元被收购",创始人 Alexandr Wang 去 Meta 领导超级智能团队。Scale 还算不算大玩家?

Garrett 先向 Scale 团队致敬,然后说了一句业内的普遍看法:如果你把研究团队和他们跑的实验视为模型进步的根本,你大概不希望自己的最新研究方向被一个同行投资的公司接触到。这之后,Handshake 看到了需求的激增。

接着他讲出了这一期的核心商业判断。

我们常说,人类数据这门生意唯一的护城河,就是能触达到人。

We like to say the only moat in human data is access to an audience.

他描述了竞争对手怎么找专家。实验室问"能给我找 200 个物理学博士吗",这些公司能做的只有一件事:雇一百个、两百个招聘专员,挨个在 LinkedIn 上发消息;再花几百万甚至每月几千万美元投 TikTok、Instagram、谷歌和 YouTube 广告。一个物理学博士刷 Instagram 时看到"来训练模型吧",第一反应是"这牌子我没听过"。

Handshake 的处境正好相反。它和 1800 万用户积累了十年信任,用户有活跃的资料,平台还掌握他们的学业表现。Garrett 把这层优势拆成两个指标,CAC(获取一个用户的成本)和 LTV(一个用户在生命周期里贡献的价值):

  • CAC 几乎为零。Handshake 和约 1600 所高校合作,他说覆盖了美国前 500 所学校中的 92%,几乎所有大学和社区学院都在用。
  • LTV 在这门生意里算法很简单:一个人能留多久、能参与多少个项目。用户信任 Handshake,转化率高。学校是 Handshake 的付费客户,如果 Handshake 对这些学生不好,学校不会容忍。所以它必须善待这些人,留存和重复参与率也就高。

体验上,他直说竞争对手的做法是"把前沿的税务会计师当成在菲律宾给停车标志画框的人"。

前沿的税务会计师不想被当成低成本的海外劳动力来对待。

The frontier tax accountants don't want to be treated like low cost international labor.

他还指出一个常被忽略的问题:麻省理工的博士弄不坏模型,往往不是能力不够,而是没人教他们怎么用这些工具。别的平台花大力气把人找来,然后不经培训直接扔进项目。Handshake 的路径是这样的:

  1. 用户先建资料,进入社区,看到群组和信息流里别人怎么学;
  2. 进入一个由背景相近的同伴组成的小组,由教学设计团队和评估团队带着反复试错;
  3. 先做 Handshake 自己的项目;
  4. 表现最好的人,再被派去做客户项目。

第三步里有一种模式值得单独拿出来说。Handshake 会自己出钱生产一批数据,Garrett 比作"拍电影":自己投资,自己做后训练验证质量,写好数据规格,然后把同一个数据包卖给多家实验室。

从帮中间商导流,到绕过中间商

这项业务不是凭空想出来的。Garrett 说起点是一批他称为"中间商"的数据公司来找 Handshake,想招募平台上的博士和硕士。像任何一个好的市场平台那样,Handshake 把用户导了过去,并从中赚了几千万美元。

然后他听到了两种声音。一是用户的抱怨:那些平台上的训练很敷衍,怎么拿到报酬说不清楚,从报名到真正完成项目的流失非常严重。二是前沿实验室开始直接找上门,想绕过中间商拿到质量更高的数据。

把这两件事连起来,结论就清楚了:Handshake 可以给专家更好的体验,直接对接实验室,同时也惠及平台上的百万雇主。他相信,在通往 ASI(超级人工智能)的路上,需要一个"专家优先"的平台,让全世界的人都能来这里把自己的技能和知识变现。

时间线大致如下。2024 年 12 月开始摸索。他请了专家咨询公司(他提到 AlphaSights 和 GLG),密集地和实验室研究员通电话。Garrett 特别提到,成熟公司的一个好处是有钱加快学习曲线,核心业务 2 亿美元的 ARR 给了他这个底气。圣诞和新年期间他满世界飞,追着各家实验室的负责人,家里人觉得他有点疯。1 月开始搭平台,招了一批来自人类数据行业的人。大约在录制前五个月,开始和"可以说是第一名"的实验室合作,并正式产生收入。到录制时,他们在和七家前沿实验室合作。

团队从四五个人涨到 75 人以上,录制前那个周一就有 12 个人入职。Garrett 说,在这个市场里,只要你能稳定产出大批高质量数据,基本做多少就能卖多少,瓶颈全在自己。

只要你能产出大量高质量数据,你多半能把产出的东西全卖掉。

If you can produce high quality volumes of data, you most likely will be able to sell whatever you produce.

需求无限,他反而强调不能长得太快。 他说团队要选对长期策略,不能因为扩张太快而辜负已经和前沿实验室建立起来的信任。早期的重点是先给一个客户交付好高质量数据,再扩展到下一个,这意味着要拒绝很多事。

新业务要从老公司里彻底拆出来

Lenny 问在老公司里起新业务难在哪。Garrett 先讲了他的"老本行":市场型平台本身就是多个从零到一的叠加。Handshake 先要签下 1600 所大学;再做雇主业务,向高盛、通用汽车、谷歌这样的公司做大客户销售(他说财富 500 强全部在用,其中 70% 付费);还要做一个学生社交网络,琢磨信息流和群聊该怎么做。他开玩笑说,有时真希望自己开的是一家网络安全公司,只有一类买家、一个产品。

那几次经验里,他学到的是要亲自下场。这次也一样,所有人直接向他汇报。他在会上常说:

我不是想当老板,我只是想让房间里多一个聪明人。

I'm not trying to be the boss, I'm just trying to get another smart guy in the room.

真正难的是组织摩擦。他说核心业务里的人有正当的制衡职责,很多人会想参与进来,而说"不"太容易了:"这周、这个月我排不上,我有自己的优先级。"他的解法是彻底分开:

我就是相信一切都要分开。

I just really believe in separate everything.

具体做法:

  • 工程、设计、运营、财务各自独立。早期每个人只有一份工作:让 Handshake AI 成功。从核心业务调来的人,原有职责全部放下。
  • 单独的全员会、单独的入职流程、单独的招聘团队,坐在办公室的另一片区域。
  • 每周五天在办公室,很多周末也在。招人时直接说明"这是一份 24/7 的工作,是一家早期公司"。
  • 薪酬单独设计,和新业务的业绩门槛挂钩,让人有当主人的感觉。
  • DRI(直接负责人)不按职能分配。谁最能推动一件事,谁就是负责人,哪怕他不是那个职能的头。
  • 从第一天就按周、月、季度的节奏用数据和指标管理。他承认做老 Handshake 时,他们很长时间都在抗拒这套节奏。

他把 80% 以上的时间投在新业务上,核心业务交给跟了他多年的高管团队。新团队里有很多以前自己创过业的人,习惯模糊和混乱。规模上来以后,他从核心业务里抽调最有创业气质的资深工程师、首席工程师,直接"空降"进来。

他也说了这套做法的代价。他会开口问核心业务里最优秀的人要不要过来,有人会拒绝,理由是不想大部分周末都在加班。凌晨两三点的夜在这个团队是常态。他的态度是把预期摆在前面,在核心公司的全员会上也直接承认"这会很混乱"。和高强度配套的,是一种很扁平、很爱庆祝的文化:谁拿出了成果,就当众点名。

学生训练模型,不等于学生会失业

Lenny 抛出了一个尖锐的问题:一边是学生在把模型训练得越来越聪明,一边是模型越聪明,入门级岗位可能越少。这是不是一个真实的矛盾?

Garrett 的立场很明确:他站在"GDP 增长"那一边,而不是"全民基本收入"那一边。他的依据是 Handshake 的位置:100 多万家雇主在用,财富 500 强全部在用,美国年轻人找工作的大部分流量经过这里。他说很多人夸张地宣称年轻人都会没工作,但雇主那边告诉他的不是这样。

他举了两个例子。一是社交媒体营销:过去要一个会 Photoshop 拍图做视频的人,再要一个懂营销分析平台的人;现在一个"穿着钢铁侠战衣"的 AI 原生年轻人可以自己做视频、出素材、多平台发布、跑数据分析,不需要数据科学学位。二是 Handshake 自己的实习生,入职当天下午就提了第一个 PR。他对当过产品经理的 Lenny 说,你知道以前光配好开发环境、找到能下手的地方要多久。

他用谷歌做类比:

你还记得以前大家会把"会用谷歌搜索"写进简历的技能栏吗?……我觉得 AI 原生、懂得用这些工具的年轻人有巨大的优势。

Do you remember when you used to put Google search on as a skill on your resume? … I think being AI native … young people are at a huge advantage.

但他并没有说没人会受影响。他补了一句:"当然,几亿个工作岗位会演变。人会被替代,他们需要提升技能、重新学习。"他认为 Handshake 在帮知识工作者转型这件事上有很大角色。

做数据的学生本身也在受益。Garrett 说顶尖院校的博士在自己的专业领域能拿到每小时 100 到 200 美元。

当助教一小时挣 25 美元,或者你去破解最新的模型,一小时挣 150 美元。

You can make 25 bucks an hour being a teacher's assistant, or you can actually make $150 an hour breaking the latest models.

他说这些"fellow"(Handshake 对平台上做数据的专家的称呼)反馈,他们会把从中得到的洞察带回课堂教学,也开始学着用这些工具推进自己的研究。

值得注意的是,这个回答里的证据来自 Handshake 自己的雇主和用户。对于"模型越来越强之后,入门岗位的总量会不会缩小"这个问题,他给的是方向性的信念,而不是数据。

数据不会用完,只会换形态

Lenny 最后问了一个行业里反复出现的问题:数据会不会用完,模型会不会撞上天花板?

Garrett 没有直接回答"会不会到天花板",他的回答集中在数据的形态会怎么变:CAD 文件;实验室想自动化科学发现和药物研发时需要的科学工具使用数据;科学仪器上那些冷门操作系统的操作数据;把一步步的指令执行串成完整轨迹。他还特别说,现在音频数据需求很大。

关于合成数据,他的判断有明确的限定:合成数据在可验证领域有用武之地,但他从各家公司那里一再听到的是,合成数据不会成为主导。他认为未来十年,跟着 AI 前沿走,这里有几十亿、几百亿美元的价值可以挖。

更早的时候他也说过类似的话。他开玩笑说"MBA 们都觉得这事迟早会消失",但只要模型还在进步,这个过程就需要人。他转述实验室首席科学家的看法:数据类型会变,但在实现完整的 ASI 之前,未来十年都需要人参与。目前需求集中在学术领域,以后专业领域的需求会大得多,覆盖知识工作者在工作中一步步解决的每一类问题。他的理由是:模型不会自己泛化。每当你让模型做一件很高阶的事而它没做好,背后很可能就有一位那个领域的顶尖专家,正在和实验室研究员一起反复试着让它变好。

这期留下的问题也在这里。Garrett 的整套判断建立在"预训练见顶、后训练靠人"这个前提上。如果合成数据或者模型自我改进在更多领域跑通,专家数据的需求曲线会变成什么样,他没有展开。另一个没回答的问题是集中度:七家实验室就是全部客户,Scale 的遭遇说明,实验室对数据供应商的信任可以很快转向。

其他值得记下的观点

  • Garrett 说 Handshake 是一张"不靠人脉连接的图"。LinkedIn 第一个问题是"你的工作是什么",强调你认识谁、做过什么;大多数年轻人还没工作过,也没有 500 个人脉可加。Handshake 面向 18 到 30 岁的人,从探索兴趣开始,用群组、私信、短视频和信息流帮人建立早期职业信心。
  • 他把两块业务看作一门生意。长期目标是做互联网上最好的人岗匹配市场。他认为求职流程会被 AI 完全重做:AI 面试官收集技能和经历,工作模拟帮雇主找人。他说五年后不会再有招聘经理去翻 200 份简历,也不会有学生再手写求职信。人类数据业务的很多能力正被整合回核心业务。
  • 他讲了自己的出身:读过社区学院,自己挣学费,上的是密歇根上半岛一所"没什么名气的学校",在 Palantir 实习改变了他的人生。他做 Handshake,是想让人不管认识谁、父母做什么、上什么学校,都能找到好机会。
  • 早年创业时,他和团队开一辆福特福克斯跑了两三万英里,睡在麦当劳停车场(灯亮、有 Wi-Fi),去大学游泳馆免费洗澡。在普林斯顿洗澡时差点被校警抓。校警打电话给他要拜访的就业中心主任,问"Garrett Lord 是谁",结果反而让那次会面开场就很热烈,对方看到了他们的投入。
  • 他给年轻创业者的建议:去做有意义、真正帮到人的事。他认为 AI 会带来很多改善人们学习方式的机会。
  • 他推荐的书:彼得·蒂尔的《从 0 到 1》、《鞋狗》、《创业维艰》。

对 builder 有什么用

  • 盘点你手里"别人要花大钱才能获取"的人群或资源。Handshake 的新业务来自一个旧资产在新需求下的重新定价。列出你的用户里有哪些专业人群,再看看有没有外部公司已经在付费招募他们。这类导流请求就是 Handshake 最早的需求信号。
  • 如果你在做人类数据或专家众包,把用户的入门培训当成产品来做。Garrett 认为专家弄不坏模型,常常是因为没人教他们怎么用工具。可以照他的路径设计:同伴小组带入门,先上自营项目,表现好的再进客户项目,并按"留存时长 × 参与项目数"来算 LTV。
  • 在成熟公司里起新业务,先把能拆开的都拆开:独立的团队、汇报线、全员会、招聘和激励。在调人之前,把强度和预期写清楚,允许别人拒绝。DRI 按"谁最能推动"来定,不按职能定。
  • 卖给 AI 实验室时,按"质量、数量、速度"三项来设计交付,尤其是几天内出小样、验证有效后迅速放量的能力。如果有条件,像 Handshake 那样在内部能测出单条数据带来的提升,而不是只靠客户反馈。
  • 试一下"先自己出钱做一批标准化数据包,再卖给多家客户"的模式,把一次性的定制项目变成可以复用的资产。

In their words

“The models have gotten so good that the generalists are no longer needed. What they really need is experts.”

模型已经好到不再需要通才了。它们真正需要的是专家。

— Garrett Lord · 00:09:48
“We like to say the only moat in human data is access to an audience.”

我们常说,人类数据这门生意唯一的护城河,就是能触达到人。

— Garrett Lord · 00:29:50
“The average person cannot break the models and that's where we really come in.”

普通人弄不坏模型,这正是我们进场的地方。

— Garrett Lord · 00:12:22
“The frontier tax accountants don't want to be treated like low cost international labor.”

前沿的税务会计师不想被当成低成本的海外劳动力来对待。

— Garrett Lord · 00:41:43
“If you can produce high quality volumes of data, you most likely will be able to sell whatever you produce.”

只要你能产出大量高质量数据,你多半能把产出的东西全卖掉。

— Garrett Lord · 00:47:39
“I'm not trying to be the boss, I'm just trying to get another smart guy in the room.”

我不是想当老板,我只是想让房间里多一个聪明人。

— Garrett Lord · 00:48:50
“I just really believe in separate everything.”

我就是相信一切都要分开。

— Garrett Lord · 00:53:50
“There will never be a time like this. I've never seen anything like it. I doubt I'll ever feel anything like this in business again where there's unlimited demand.”

不会再有这样的时刻了。我从没见过这种情况,我也怀疑这辈子做生意还能不能再有这种感觉:需求是无限的。

— Garrett Lord · 00:00:00
“You can make 25 bucks an hour being a teacher's assistant, or you can actually make $150 an hour breaking the latest models.”

当助教一小时挣 25 美元,或者你去破解最新的模型,一小时挣 150 美元。

— Garrett Lord · 00:27:08
“I'm probably in the camp of GDP growth over universal basic income.”

我大概站在 GDP 增长那一边,而不是全民基本收入那一边。

— Garrett Lord · 00:24:42

Concepts to know

预训练Pre-training
让模型吞下互联网上几乎所有文字、书和视频,学到通用知识,相当于学生读完所有教材。
后训练Post-training
预训练之后针对具体能力方向补充高质量数据,相当于逐科请老师补课。
有监督微调SFT (Supervised Fine-Tuning)
用人写好的提示-回答对来调整模型。
基于人类反馈的强化学习RLHF
让人对模型的多个回答做偏好排序,用排序结果训练模型。
轨迹数据Trajectory
完整记录一个人完成任务的过程,包括屏幕、鼠标移动和口头旁白,用来教模型多步骤地使用工具。
评分标准Rubric
在没有唯一正确答案的领域,由专家写出评判条目,让模型当裁判自动给回答打分。
GPQA
一套由领域专家编写的研究生级科学问答基准,题目难到非本领域的人查资料也很难答对。
可验证领域Verifiable domain
答案能被客观检查的领域,如数学和代码;教育设计、医学判读等属于不可验证领域。
获客成本 / 用户生命周期价值CAC / LTV
获取一个用户要花多少钱,以及这个用户在整个生命周期里能贡献多少价值。
直接负责人DRI (Directly Responsible Individual)
对某个项目结果负唯一责任的人。

Turning points

  1. 2024 年底之前

    Handshake 把平台上的博士和硕士导给数据标注中间商,从中赚了几千万美元。

    这是市场平台的常规做法,但也让他听到用户对这些平台体验的抱怨,以及实验室想绕过中间商的需求。

  2. 2024 年 12 月至 2025 年 1 月

    Garrett 决定自己做人类数据业务:请专家咨询公司密集访谈研究员,圣诞新年期间飞去见实验室负责人,1 月开始搭平台。

    他判断可以直接对接实验室,同时给专家更好的体验。核心业务的收入让他有资源加快学习。

  3. 2025 年初

    新业务从组织上完全独立:独立的团队、汇报线、全员会、招聘和激励,所有人直接向他汇报,他投入 80% 以上的时间。

    在成熟公司里,人们很容易用既有优先级拒绝新业务。代价是要从核心业务抽走骨干,并接受很高的工作强度。

  4. 录制前约五个月

    先集中服务一家头部实验室,把高质量数据交付做稳之后,再扩展到其他实验室。

    信任是这门生意的根本,扩张太快可能毁掉它,所以要拒绝很多机会。

Read with care

  • 新业务的收入数字主要来自 Lenny 的转述,Garrett 只是确认并说会超过;获客成本、转化率、留存率优于对手的说法都是他单方面的陈述,没有给出具体数据。
  • 他对竞争对手的描述(上百名招聘专员、每月数千万美元广告、体验粗糙)没有点名,也没有第三方印证。
  • 专家数据需求旺盛的判断建立在预训练见顶、合成数据不会主导这两个前提上,他引用的是实验室研究员的看法。如果这两个前提变化,需求曲线可能不同。
  • 关于年轻人就业的判断,依据的是 Handshake 平台上雇主的反馈,没有提供就业数据;他也承认会有大量岗位演变和人员被替代。

Adapted from the public interview transcript. Quotes are excerpts; watch the original for full context. Reviewed 2026-10-28