CastMind Reads
走进为每个前沿 AI 模型提供训练数据的专家网络 | Garrett Lord(Handshake CEO)
Handshake 的 Garrett Lord 讲后训练为什么需要专家而不是通才、人类数据生意唯一的护城河是触达人群,以及如何在十年老公司里把新业务彻底拆出来跑
This read is written in Chinese. Quotes are shown in both English and Chinese.
Handshake 做了十年大学生求职平台。2025 年 1 月,它在内部起了一个给 AI 实验室做训练数据的新业务,主持人 Lenny 说这项业务四个月做到 5000 万美元 ARR。CEO Garrett Lord 在这期里讲了两件事。第一件是前沿模型的后训练到底需要什么样的人类数据,为什么这门生意的胜负取决于谁能触达专家。第二件是他怎么在一家 600 人的成熟公司里,把一个从零到一的新业务彻底拆出来跑。
Key points
- 01Garrett Lord 认为,预训练在一两年前就因为吸干了互联网知识而趋于平缓,模型的主要进步来自后训练,实验室在按假设、小样、放量的实验流程收集针对性数据。
- 02他认为模型已经强到普通人很难挑出错误,标注市场从低成本通才转向博士级专家,专家的工作是弄坏模型、给出正确答案和推理步骤。
- 03他认为人类数据唯一的护城河是触达人群:对手靠上百名招聘专员和大笔广告找专家,Handshake 凭十年信任和高校合作几乎零获客成本,留存也更高。
- 04他认为在老公司里起新业务必须一切分开:独立团队、汇报线、激励和节奏,创始人亲自下场,从第一天起按指标运营。
- 05他不认同学生训练模型会让年轻人失业的担忧,认为 AI 原生的年轻人更有优势,但也承认会有大量岗位演变和人员被替代。
有一段时间,Handshake AI 团队在白板上画出了一年剩下的天数。Garrett Lord 给团队定了一句口号:什么都别交给运气。
不会再有这样的时刻了。我从没见过这种情况,我也怀疑这辈子做生意还能不能再有这种感觉:需求是无限的。
There will never be a time like this. I've never seen anything like it. I doubt I'll ever feel anything like this in business again where there's unlimited demand.
他要的是三个月、六个月之后回头看没有遗憾。具体到动作上:该飞去见客户就上飞机,该熬夜就熬夜,数据检查六遍。
说这话的人经营的是一家已经十岁的公司。Handshake 可以理解成"大学生版的 LinkedIn",学生在上面找实习和第一份工作。按 Lenny 的介绍,它覆盖 1500 多所高校、2000 多万学生和校友、100 多万家雇主,财富 500 强全部在用。Garrett 说这块核心业务一年大约 2 亿美元收入。
2025 年初,他意识到平台上那几十万博士和几百万硕士,正是 AI 实验室最缺的东西。Lenny 在访谈里给出的数字是:新业务四个月做到 5000 万美元 ARR,第八个月时有望在一年内破 1 亿。Garrett 的回应是"我觉得我们会远远超过这个数"。照这个速度,新业务不到两年就会超过一个做了十年的老业务。
预训练吃完了互联网,增长挪到了后训练
Lenny 先让 Garrett 讲清楚一件很多人似懂非懂的事:数据标注到底在干什么。
Garrett 从模型训练的两个阶段讲起。预训练(pre-training)是让模型吞下人类写下和录下的几乎全部知识:网页、书、YouTube 视频。很长一段时间里,前沿实验室的重心都在这里,把更多数据塞进去,模型就变好。
他的判断是,大约 18 到 24 个月前,预训练带来的提升开始趋于平缓,原因很直接:互联网上的知识基本被吸干了。于是实验室把主要精力转向后训练(post-training)。后训练相当于学生读完所有教材之后,再请专门的老师逐科补课。实验室挑出自己在意的能力方向,比如编程、数学、法律、金融,针对性地收集高质量数据,补强模型在这些方向上的表现。
Garrett 把实验室里研究员的工作描述成一套科学实验流程:
- 提出一个"怎样能让模型变好"的假设;
- 先收集一小批数据验证;
- 假设成立,就把这类数据的采集规模放大。
数据形态五花八门。有监督微调(SFT)用的"提示-回答"对;基于人类反馈的强化学习(RLHF)用的偏好排序,也就是让人判断回答 A 和回答 B 哪个更好;还有轨迹数据、强化学习环境、音频和多模态数据。现在实验室很看重推理模型,要改进推理,就需要一步一步的解题过程,因为前沿模型在很专业的领域里经常在中间步骤上出错。
Lenny 想把这些归成"RLHF 和微调两大类",Garrett 的回答是"是也不是"。比如你想让模型学会订机票、走完一整套会计流程、做生物实验,就需要轨迹数据,它不在这两类里。实验室各自对该收什么数据有自己的看法,而且变化很快。
模型已经强到不再需要通才
这是整期最反直觉的一个判断。一提起数据标注,很多人脑子里还是"在图片上给停车标志画框"那类工作。Garrett 说这个市场已经变了。
模型已经好到不再需要通才了。它们真正需要的是专家。
The models have gotten so good that the generalists are no longer needed. What they really need is experts.
过去,标注市场主要依靠海外低成本劳动力做基础的通用任务。现在模型在常识层面已经很强,普通人很难再挑出它的错。普通人弄不坏模型,这正是专家进场的地方。 一个物理学博士可以在物理学的多个子领域里找出模型的破绽:可能是推理步骤错了,可能是标准答案错了,也可能是一用工具、一要求按步骤执行就崩。
他用博士学位的定义来解释为什么博士特别有用:拿到博士要答辩,答辩意味着你证明了自己把某个领域的人类知识往前推了一点。这类知识很多从没出现在互联网上,预训练自然学不到。Handshake 手里有 50 万博士、300 万硕士,可以精准定位到化学、数学、物理、生物、编程的具体人群。
实验室往哪个方向投入,取决于哪种能力在经济上最值钱。Garrett 说眼下主要是高阶的理工科,其次是由此派生的会计、法律、医学、金融。专家需求也不只在顶端。Handshake 也有几百万本科生在做音频相关的工作,比如根据地域调整模型的声音和语气,或者区分男性和女性用户的偏好。
专家的活儿,是把模型弄坏再修好
Lenny 追问:一个博士坐在那儿,具体在干什么?
Garrett 推荐了一篇公开论文 GPQA。GPQA 是一组由领域专家编写、连非本领域的聪明人上网查也很难答对的研究生级科学题。它的核心流程是三步:先把模型弄坏,再给出标准答案,最后写出逐步的推理过程。
这里有一个细节。模型的输出带随机性,同一道题它可能答对一次,五次里却错三次。所以专家要证明模型确实在这里失败,还要定位失败在哪。常见的情况是模型知道题目、也能碰对答案,但推导过程是错的。比如一道数学题有 10 步,第 6 到第 10 步错了。实验室最在意的就是怎么修正这些步骤。
他举了一个"不可验证领域"的例子。可验证领域指答案能被客观检查的领域,比如数学题、能跑通的代码;教育设计这类领域没有唯一正确答案。平台上有位叫 Rachel 的博士,在迈阿密大学拿到教育学博士学位,当过很多年八年级老师,还在社区学院做兼职教授。她的工作是和最新模型在教学设计上来回过招,指出模型教人的方式哪里不对,把一线经验和学术前沿一起喂给模型。
另一类是专业场景下的轨迹数据。Lenny 问"轨迹"到底是什么,Garrett 的解释是:把一个人完成任务的整个环境都记录下来,包括屏幕、鼠标移动,以及他边做边讲的旁白。做到一半卡住了怎么办,也要录下来。实验室想弄清楚的是人怎么思考。这些工作最终交付的形态,可以就是结构化的 JSON 数据。
还有一种他称为 rubric(评分标准)的工作。有些领域没有标准答案,比如什么是好的教学设计、怎样算一份好的 MRI 结论。这时可以让模型当裁判,按专家写好的评分标准自动给回答打分。Garrett 拿写论文打比方:一篇 5000 字的论文怎样拿 A?开头要有好的引言,论证要有科学依据。把这些条目写下来,就是 rubric。Handshake 不做自动评估本身,但做被自动评估使用的 rubric。
实验室要三样东西:质量、数量、速度
Lenny 提出一个看法:为什么要信一位老师的意见?市场会说话,模型越来越受欢迎,说明数据是对的。
Garrett 没有接这个"市场自会验证"的说法。他先承认自己没有 AI、数学或物理的博士学位,然后把问题拉回到实验室真正关心的地方:怎么证明每一单位数据确实让模型变好了,这件事本身就有大量研究,模型方自己也很难判断。所以 Handshake 自建了研究团队和后训练团队,从 Meta 挖来一位做过后训练的人,还自己租 GPU,在单条数据的粒度上估算它能带来多少提升。
他说实验室在意三件事,顺序是:
- 质量第一。他用教学生打比方:给学生灌了错误的知识,事后很难纠正过来。
- 数量。在最前沿的化学、数学、物理领域,怎么做出成千上万条数据,还保证质量?Handshake 的做法是直接找斯坦福、伯克利、麻省理工物理系 GPA 最高的学生。
- 速度。研究员手上同时押着三四个假设。一旦某个显出提升,就要立刻放大那条数据管线,砍掉另外两三个没效果的项目。能在几天内交付,再迅速放量,是他们最看重的能力。
"人类数据唯一的护城河,是触达人群"
Lenny 提到 Scale AI:这家原本的头部数据公司"差不多以 300 亿美元被收购",创始人 Alexandr Wang 去 Meta 领导超级智能团队。Scale 还算不算大玩家?
Garrett 先向 Scale 团队致敬,然后说了一句业内的普遍看法:如果你把研究团队和他们跑的实验视为模型进步的根本,你大概不希望自己的最新研究方向被一个同行投资的公司接触到。这之后,Handshake 看到了需求的激增。
接着他讲出了这一期的核心商业判断。
我们常说,人类数据这门生意唯一的护城河,就是能触达到人。
We like to say the only moat in human data is access to an audience.
他描述了竞争对手怎么找专家。实验室问"能给我找 200 个物理学博士吗",这些公司能做的只有一件事:雇一百个、两百个招聘专员,挨个在 LinkedIn 上发消息;再花几百万甚至每月几千万美元投 TikTok、Instagram、谷歌和 YouTube 广告。一个物理学博士刷 Instagram 时看到"来训练模型吧",第一反应是"这牌子我没听过"。
Handshake 的处境正好相反。它和 1800 万用户积累了十年信任,用户有活跃的资料,平台还掌握他们的学业表现。Garrett 把这层优势拆成两个指标,CAC(获取一个用户的成本)和 LTV(一个用户在生命周期里贡献的价值):
- CAC 几乎为零。Handshake 和约 1600 所高校合作,他说覆盖了美国前 500 所学校中的 92%,几乎所有大学和社区学院都在用。
- LTV 在这门生意里算法很简单:一个人能留多久、能参与多少个项目。用户信任 Handshake,转化率高。学校是 Handshake 的付费客户,如果 Handshake 对这些学生不好,学校不会容忍。所以它必须善待这些人,留存和重复参与率也就高。
体验上,他直说竞争对手的做法是"把前沿的税务会计师当成在菲律宾给停车标志画框的人"。
前沿的税务会计师不想被当成低成本的海外劳动力来对待。
The frontier tax accountants don't want to be treated like low cost international labor.
他还指出一个常被忽略的问题:麻省理工的博士弄不坏模型,往往不是能力不够,而是没人教他们怎么用这些工具。别的平台花大力气把人找来,然后不经培训直接扔进项目。Handshake 的路径是这样的:
- 用户先建资料,进入社区,看到群组和信息流里别人怎么学;
- 进入一个由背景相近的同伴组成的小组,由教学设计团队和评估团队带着反复试错;
- 先做 Handshake 自己的项目;
- 表现最好的人,再被派去做客户项目。
第三步里有一种模式值得单独拿出来说。Handshake 会自己出钱生产一批数据,Garrett 比作"拍电影":自己投资,自己做后训练验证质量,写好数据规格,然后把同一个数据包卖给多家实验室。
从帮中间商导流,到绕过中间商
这项业务不是凭空想出来的。Garrett 说起点是一批他称为"中间商"的数据公司来找 Handshake,想招募平台上的博士和硕士。像任何一个好的市场平台那样,Handshake 把用户导了过去,并从中赚了几千万美元。
然后他听到了两种声音。一是用户的抱怨:那些平台上的训练很敷衍,怎么拿到报酬说不清楚,从报名到真正完成项目的流失非常严重。二是前沿实验室开始直接找上门,想绕过中间商拿到质量更高的数据。
把这两件事连起来,结论就清楚了:Handshake 可以给专家更好的体验,直接对接实验室,同时也惠及平台上的百万雇主。他相信,在通往 ASI(超级人工智能)的路上,需要一个"专家优先"的平台,让全世界的人都能来这里把自己的技能和知识变现。
时间线大致如下。2024 年 12 月开始摸索。他请了专家咨询公司(他提到 AlphaSights 和 GLG),密集地和实验室研究员通电话。Garrett 特别提到,成熟公司的一个好处是有钱加快学习曲线,核心业务 2 亿美元的 ARR 给了他这个底气。圣诞和新年期间他满世界飞,追着各家实验室的负责人,家里人觉得他有点疯。1 月开始搭平台,招了一批来自人类数据行业的人。大约在录制前五个月,开始和"可以说是第一名"的实验室合作,并正式产生收入。到录制时,他们在和七家前沿实验室合作。
团队从四五个人涨到 75 人以上,录制前那个周一就有 12 个人入职。Garrett 说,在这个市场里,只要你能稳定产出大批高质量数据,基本做多少就能卖多少,瓶颈全在自己。
只要你能产出大量高质量数据,你多半能把产出的东西全卖掉。
If you can produce high quality volumes of data, you most likely will be able to sell whatever you produce.
需求无限,他反而强调不能长得太快。 他说团队要选对长期策略,不能因为扩张太快而辜负已经和前沿实验室建立起来的信任。早期的重点是先给一个客户交付好高质量数据,再扩展到下一个,这意味着要拒绝很多事。
新业务要从老公司里彻底拆出来
Lenny 问在老公司里起新业务难在哪。Garrett 先讲了他的"老本行":市场型平台本身就是多个从零到一的叠加。Handshake 先要签下 1600 所大学;再做雇主业务,向高盛、通用汽车、谷歌这样的公司做大客户销售(他说财富 500 强全部在用,其中 70% 付费);还要做一个学生社交网络,琢磨信息流和群聊该怎么做。他开玩笑说,有时真希望自己开的是一家网络安全公司,只有一类买家、一个产品。
那几次经验里,他学到的是要亲自下场。这次也一样,所有人直接向他汇报。他在会上常说:
我不是想当老板,我只是想让房间里多一个聪明人。
I'm not trying to be the boss, I'm just trying to get another smart guy in the room.
真正难的是组织摩擦。他说核心业务里的人有正当的制衡职责,很多人会想参与进来,而说"不"太容易了:"这周、这个月我排不上,我有自己的优先级。"他的解法是彻底分开:
我就是相信一切都要分开。
I just really believe in separate everything.
具体做法:
- 工程、设计、运营、财务各自独立。早期每个人只有一份工作:让 Handshake AI 成功。从核心业务调来的人,原有职责全部放下。
- 单独的全员会、单独的入职流程、单独的招聘团队,坐在办公室的另一片区域。
- 每周五天在办公室,很多周末也在。招人时直接说明"这是一份 24/7 的工作,是一家早期公司"。
- 薪酬单独设计,和新业务的业绩门槛挂钩,让人有当主人的感觉。
- DRI(直接负责人)不按职能分配。谁最能推动一件事,谁就是负责人,哪怕他不是那个职能的头。
- 从第一天就按周、月、季度的节奏用数据和指标管理。他承认做老 Handshake 时,他们很长时间都在抗拒这套节奏。
他把 80% 以上的时间投在新业务上,核心业务交给跟了他多年的高管团队。新团队里有很多以前自己创过业的人,习惯模糊和混乱。规模上来以后,他从核心业务里抽调最有创业气质的资深工程师、首席工程师,直接"空降"进来。
他也说了这套做法的代价。他会开口问核心业务里最优秀的人要不要过来,有人会拒绝,理由是不想大部分周末都在加班。凌晨两三点的夜在这个团队是常态。他的态度是把预期摆在前面,在核心公司的全员会上也直接承认"这会很混乱"。和高强度配套的,是一种很扁平、很爱庆祝的文化:谁拿出了成果,就当众点名。
学生训练模型,不等于学生会失业
Lenny 抛出了一个尖锐的问题:一边是学生在把模型训练得越来越聪明,一边是模型越聪明,入门级岗位可能越少。这是不是一个真实的矛盾?
Garrett 的立场很明确:他站在"GDP 增长"那一边,而不是"全民基本收入"那一边。他的依据是 Handshake 的位置:100 多万家雇主在用,财富 500 强全部在用,美国年轻人找工作的大部分流量经过这里。他说很多人夸张地宣称年轻人都会没工作,但雇主那边告诉他的不是这样。
他举了两个例子。一是社交媒体营销:过去要一个会 Photoshop 拍图做视频的人,再要一个懂营销分析平台的人;现在一个"穿着钢铁侠战衣"的 AI 原生年轻人可以自己做视频、出素材、多平台发布、跑数据分析,不需要数据科学学位。二是 Handshake 自己的实习生,入职当天下午就提了第一个 PR。他对当过产品经理的 Lenny 说,你知道以前光配好开发环境、找到能下手的地方要多久。
他用谷歌做类比:
你还记得以前大家会把"会用谷歌搜索"写进简历的技能栏吗?……我觉得 AI 原生、懂得用这些工具的年轻人有巨大的优势。
Do you remember when you used to put Google search on as a skill on your resume? … I think being AI native … young people are at a huge advantage.
但他并没有说没人会受影响。他补了一句:"当然,几亿个工作岗位会演变。人会被替代,他们需要提升技能、重新学习。"他认为 Handshake 在帮知识工作者转型这件事上有很大角色。
做数据的学生本身也在受益。Garrett 说顶尖院校的博士在自己的专业领域能拿到每小时 100 到 200 美元。
当助教一小时挣 25 美元,或者你去破解最新的模型,一小时挣 150 美元。
You can make 25 bucks an hour being a teacher's assistant, or you can actually make $150 an hour breaking the latest models.
他说这些"fellow"(Handshake 对平台上做数据的专家的称呼)反馈,他们会把从中得到的洞察带回课堂教学,也开始学着用这些工具推进自己的研究。
值得注意的是,这个回答里的证据来自 Handshake 自己的雇主和用户。对于"模型越来越强之后,入门岗位的总量会不会缩小"这个问题,他给的是方向性的信念,而不是数据。
数据不会用完,只会换形态
Lenny 最后问了一个行业里反复出现的问题:数据会不会用完,模型会不会撞上天花板?
Garrett 没有直接回答"会不会到天花板",他的回答集中在数据的形态会怎么变:CAD 文件;实验室想自动化科学发现和药物研发时需要的科学工具使用数据;科学仪器上那些冷门操作系统的操作数据;把一步步的指令执行串成完整轨迹。他还特别说,现在音频数据需求很大。
关于合成数据,他的判断有明确的限定:合成数据在可验证领域有用武之地,但他从各家公司那里一再听到的是,合成数据不会成为主导。他认为未来十年,跟着 AI 前沿走,这里有几十亿、几百亿美元的价值可以挖。
更早的时候他也说过类似的话。他开玩笑说"MBA 们都觉得这事迟早会消失",但只要模型还在进步,这个过程就需要人。他转述实验室首席科学家的看法:数据类型会变,但在实现完整的 ASI 之前,未来十年都需要人参与。目前需求集中在学术领域,以后专业领域的需求会大得多,覆盖知识工作者在工作中一步步解决的每一类问题。他的理由是:模型不会自己泛化。每当你让模型做一件很高阶的事而它没做好,背后很可能就有一位那个领域的顶尖专家,正在和实验室研究员一起反复试着让它变好。
这期留下的问题也在这里。Garrett 的整套判断建立在"预训练见顶、后训练靠人"这个前提上。如果合成数据或者模型自我改进在更多领域跑通,专家数据的需求曲线会变成什么样,他没有展开。另一个没回答的问题是集中度:七家实验室就是全部客户,Scale 的遭遇说明,实验室对数据供应商的信任可以很快转向。
其他值得记下的观点
- Garrett 说 Handshake 是一张"不靠人脉连接的图"。LinkedIn 第一个问题是"你的工作是什么",强调你认识谁、做过什么;大多数年轻人还没工作过,也没有 500 个人脉可加。Handshake 面向 18 到 30 岁的人,从探索兴趣开始,用群组、私信、短视频和信息流帮人建立早期职业信心。
- 他把两块业务看作一门生意。长期目标是做互联网上最好的人岗匹配市场。他认为求职流程会被 AI 完全重做:AI 面试官收集技能和经历,工作模拟帮雇主找人。他说五年后不会再有招聘经理去翻 200 份简历,也不会有学生再手写求职信。人类数据业务的很多能力正被整合回核心业务。
- 他讲了自己的出身:读过社区学院,自己挣学费,上的是密歇根上半岛一所"没什么名气的学校",在 Palantir 实习改变了他的人生。他做 Handshake,是想让人不管认识谁、父母做什么、上什么学校,都能找到好机会。
- 早年创业时,他和团队开一辆福特福克斯跑了两三万英里,睡在麦当劳停车场(灯亮、有 Wi-Fi),去大学游泳馆免费洗澡。在普林斯顿洗澡时差点被校警抓。校警打电话给他要拜访的就业中心主任,问"Garrett Lord 是谁",结果反而让那次会面开场就很热烈,对方看到了他们的投入。
- 他给年轻创业者的建议:去做有意义、真正帮到人的事。他认为 AI 会带来很多改善人们学习方式的机会。
- 他推荐的书:彼得·蒂尔的《从 0 到 1》、《鞋狗》、《创业维艰》。
对 builder 有什么用
- 盘点你手里"别人要花大钱才能获取"的人群或资源。Handshake 的新业务来自一个旧资产在新需求下的重新定价。列出你的用户里有哪些专业人群,再看看有没有外部公司已经在付费招募他们。这类导流请求就是 Handshake 最早的需求信号。
- 如果你在做人类数据或专家众包,把用户的入门培训当成产品来做。Garrett 认为专家弄不坏模型,常常是因为没人教他们怎么用工具。可以照他的路径设计:同伴小组带入门,先上自营项目,表现好的再进客户项目,并按"留存时长 × 参与项目数"来算 LTV。
- 在成熟公司里起新业务,先把能拆开的都拆开:独立的团队、汇报线、全员会、招聘和激励。在调人之前,把强度和预期写清楚,允许别人拒绝。DRI 按"谁最能推动"来定,不按职能定。
- 卖给 AI 实验室时,按"质量、数量、速度"三项来设计交付,尤其是几天内出小样、验证有效后迅速放量的能力。如果有条件,像 Handshake 那样在内部能测出单条数据带来的提升,而不是只靠客户反馈。
- 试一下"先自己出钱做一批标准化数据包,再卖给多家客户"的模式,把一次性的定制项目变成可以复用的资产。
In their words
“The models have gotten so good that the generalists are no longer needed. What they really need is experts.”模型已经好到不再需要通才了。它们真正需要的是专家。
“We like to say the only moat in human data is access to an audience.”我们常说,人类数据这门生意唯一的护城河,就是能触达到人。
“The average person cannot break the models and that's where we really come in.”普通人弄不坏模型,这正是我们进场的地方。
“The frontier tax accountants don't want to be treated like low cost international labor.”前沿的税务会计师不想被当成低成本的海外劳动力来对待。
“If you can produce high quality volumes of data, you most likely will be able to sell whatever you produce.”只要你能产出大量高质量数据,你多半能把产出的东西全卖掉。
“I'm not trying to be the boss, I'm just trying to get another smart guy in the room.”我不是想当老板,我只是想让房间里多一个聪明人。
“I just really believe in separate everything.”我就是相信一切都要分开。
“There will never be a time like this. I've never seen anything like it. I doubt I'll ever feel anything like this in business again where there's unlimited demand.”不会再有这样的时刻了。我从没见过这种情况,我也怀疑这辈子做生意还能不能再有这种感觉:需求是无限的。
“You can make 25 bucks an hour being a teacher's assistant, or you can actually make $150 an hour breaking the latest models.”当助教一小时挣 25 美元,或者你去破解最新的模型,一小时挣 150 美元。
“I'm probably in the camp of GDP growth over universal basic income.”我大概站在 GDP 增长那一边,而不是全民基本收入那一边。
Concepts to know
- 预训练Pre-training
- 让模型吞下互联网上几乎所有文字、书和视频,学到通用知识,相当于学生读完所有教材。
- 后训练Post-training
- 预训练之后针对具体能力方向补充高质量数据,相当于逐科请老师补课。
- 有监督微调SFT (Supervised Fine-Tuning)
- 用人写好的提示-回答对来调整模型。
- 基于人类反馈的强化学习RLHF
- 让人对模型的多个回答做偏好排序,用排序结果训练模型。
- 轨迹数据Trajectory
- 完整记录一个人完成任务的过程,包括屏幕、鼠标移动和口头旁白,用来教模型多步骤地使用工具。
- 评分标准Rubric
- 在没有唯一正确答案的领域,由专家写出评判条目,让模型当裁判自动给回答打分。
- GPQA
- 一套由领域专家编写的研究生级科学问答基准,题目难到非本领域的人查资料也很难答对。
- 可验证领域Verifiable domain
- 答案能被客观检查的领域,如数学和代码;教育设计、医学判读等属于不可验证领域。
- 获客成本 / 用户生命周期价值CAC / LTV
- 获取一个用户要花多少钱,以及这个用户在整个生命周期里能贡献多少价值。
- 直接负责人DRI (Directly Responsible Individual)
- 对某个项目结果负唯一责任的人。
Turning points
2024 年底之前
Handshake 把平台上的博士和硕士导给数据标注中间商,从中赚了几千万美元。
这是市场平台的常规做法,但也让他听到用户对这些平台体验的抱怨,以及实验室想绕过中间商的需求。
2024 年 12 月至 2025 年 1 月
Garrett 决定自己做人类数据业务:请专家咨询公司密集访谈研究员,圣诞新年期间飞去见实验室负责人,1 月开始搭平台。
他判断可以直接对接实验室,同时给专家更好的体验。核心业务的收入让他有资源加快学习。
2025 年初
新业务从组织上完全独立:独立的团队、汇报线、全员会、招聘和激励,所有人直接向他汇报,他投入 80% 以上的时间。
在成熟公司里,人们很容易用既有优先级拒绝新业务。代价是要从核心业务抽走骨干,并接受很高的工作强度。
录制前约五个月
先集中服务一家头部实验室,把高质量数据交付做稳之后,再扩展到其他实验室。
信任是这门生意的根本,扩张太快可能毁掉它,所以要拒绝很多机会。
Read with care
- 新业务的收入数字主要来自 Lenny 的转述,Garrett 只是确认并说会超过;获客成本、转化率、留存率优于对手的说法都是他单方面的陈述,没有给出具体数据。
- 他对竞争对手的描述(上百名招聘专员、每月数千万美元广告、体验粗糙)没有点名,也没有第三方印证。
- 专家数据需求旺盛的判断建立在预训练见顶、合成数据不会主导这两个前提上,他引用的是实验室研究员的看法。如果这两个前提变化,需求曲线可能不同。
- 关于年轻人就业的判断,依据的是 Handshake 平台上雇主的反馈,没有提供就业数据;他也承认会有大量岗位演变和人员被替代。
Adapted from the public interview transcript. Quotes are excerpts; watch the original for full context. Reviewed 2026-10-28