一连 Karpathy 都觉得自己"落后了"
开场主持人介绍 Karpathy:他帮忙构建了现代 AI(OpenAI 创始成员),又擅长讲清楚现代 AI,偶尔还顺手给现代 AI改个名——去年正是他造了 "vibe coding" 这个词。但就在几个月前,他说了一句更让人意外的话:"我作为程序员从未像现在这样感到落后。"
他解释这种"落后感"是兴奋与不安的混合。过去一年他一直在用 agentic 编码工具,它们能写出"一块块"代码,时不时出错、需要你去改,算是帮上忙。但转折点出现在去年 12 月:
- 最新一代模型给出的代码块"就是对的";
- 他不断要更多,结果一直都对;
- 他想不起来上一次动手纠正它是什么时候了——于是越来越信任系统,真正进入了 vibe coding 状态。
他在 X 上反复强调:很多人对 AI 的印象还停留在去年的"ChatGPT 类聊天工具",但你必须在 12 月后重新看一次——这套"agentic 连贯工作流"真正开始 work 了,是一次陡峭的、根本性的转变。从那以后他的 side project 文件夹塞满了各种东西,一直在写代码。
二Software 3.0:LLM 是一种新计算机
Karpathy 的核心框架是:LLM 不只是"更好的软件",而是一种全新的计算范式。
| 范式 | "编程"的含义 | 程序的载体 |
|---|---|---|
| Software 1.0 | 人写显式规则 | 代码 |
| Software 2.0 | 整理数据集、设定目标、设计网络结构去"训练" | 学到的权重(neural net) |
| Software 3.0 | 写提示词 / 组织上下文窗口 | 把 LLM 当作"可编程的解释器" |
他指出:当你在足够大、足够多任务的互联网数据上训练一个 GPT/LLM,模型其实被迫"隐式地多任务学习"了数据里的一切——于是它变成了某种意义上可编程的计算机。在 Software 3.0 里,上下文窗口就是你操纵这台"解释器"的杠杆,模型在数字信息空间里执行计算。
核心洞察:编程的"动作"从写代码,变成整理数据,再变成组织上下文。LLM 不是"更快的旧软件",而是一种新计算范式。
三三个让他"顿悟"的例子
例子 1:OpenClaw 的安装方式
过去安装一个跨平台软件,要写 shell 脚本;为了适配各种平台,这些脚本会膨胀得极其复杂。而 OpenClaw 的安装,其实是一段让你复制粘贴给 agent 的文本。这段"小技能"更强大,因为你不再需要事无巨细地拼出每个安装细节:agent 自带智能,会看你的环境、执行智能操作、在循环里自己 debug。"该复制粘贴给 agent 的那段文本"——这就是现在的编程范式。
例子 2:MenuGen 的"消失"
MenuGen 是他做的一个 App:餐厅菜单常常没有配图,你拍张菜单照片,它就帮你 OCR 出每道菜名、再用图像生成模型给出每道菜大概长啥样的图片。但后来他看到了"Software 3.0 版本",直接把他整个人惊到:把照片丢给 Gemini,说"用 Nano Banana 把这些菜的图片叠到菜单上"——返回的就是一张和你拍的菜单一模一样、但像素里已经渲染好各道菜配图的图片。
"我整个 MenuGen 都是多余的,它活在旧范式里——这个 App 本就不该存在。"
例子 3:知识库(不只是"编程变快")
他强调一个更大的点:这不只是"编程",而是"信息处理"整体变得可自动化了。传统代码作用于结构化数据;而他的 "LLM 知识库" 项目——让 LLM 为组织或个人生成 wiki——根本不是一个"程序",因为以前不存在"能根据一堆事实生成知识库的代码"。现在你可以把文档"重新编译"、重排、生成全新的信息视角。
"不要只问什么事现在更快了,要问什么事以前根本不可能、现在才可能。后者更令人兴奋。"
四神经计算机:最极端的外推
Stephanie 问:如果继续外推,2026 年那个"事后看来理所当然、但今天大多还没被造出来"的东西会是什么?
Karpathy 的外推很"怪":可以想象完全的"神经计算机"——一个设备直接吃进原始视频/音频喂给神经网络,用扩散模型当场渲染出一个为此刻独一无二定制的 UI。
50、60 年代,人们其实搞不清计算机会长得像"计算器"还是像"神经网络"。我们走了计算器(经典计算)的路,神经网络如今是虚拟跑在经典计算机之上的。但这个关系可能会翻转:神经网络成为主进程(host),CPU 变成协处理器,只在某些确定性任务上作为"历史遗留的附件"被调用。
他强调这只是"极端外推",真实路径是 TBD,会一块一块拼出来。
五可验证性:决定了什么先被自动化
Karpathy 花了很多笔墨写"可验证性(verifiability)"。核心论断:
| 传统计算机能自动化的 | 这一代 LLM 能自动化的 | |
|---|---|---|
| 边界 | 你能用代码精确指定的事 | 你能验证的事 |
原因在于训练机制:前沿实验室用巨大的强化学习环境训练 LLM,给的是"可验证的奖励"。于是模型变成了"锯齿状的实体(jagged entities)"——在数学、代码这类可验证领域能力陡峰,而在难以验证的地方则停滞、边缘粗糙。
他认为锯齿来自两个因素的组合:① 是否可验证 + ② 实验室是否在意。有些可验证环境只是因为"经济价值不够高"而没被放进数据分布。
结论:我们多少受制于实验室往数据里放了什么。模型给你的是一台"没有说明书"的机器,在某些设定下灵、在某些设定下不灵。你得探索自己处在哪个"电路(circuit)"里:在 RL 覆盖的电路里你就飞起来,在数据分布之外你就挣扎——这时只能靠自己微调(fine-tuning)。
六锯齿状智能:洗车场悖论
关于"锯齿状智能(jagged intelligence)",他给了一个经典新例子:
"我要去 50 米外的洗车场洗车,我应该开车去还是走去?" 当今 SOTA 模型会告诉你"走着去,太近了"。可同一个 Opus 4.7 却能重构一个 10 万行的代码库、找出零日漏洞——这太荒诞了。
洗车这件事的关键当然是"你得把车开过去"。这种锯齿说明:① 模型可能哪里有点不对;② 你需要留在循环里,把它们当工具用,时刻了解它们在干什么。
他补充:理论上几乎一切最终都能在某种程度上变得可验证——哪怕是写作这类,也可以搞一个"LLM 评审团(council of judges)"来给出合理评分。所以问题更多是"容易还是难",而非"能不能"。被问到"什么终将可自动化"时,他笑答:"一切。"
七给创业者的建议
问题:如果你是创业者,想解决一个可处理(tractable)且可验证的问题,却发现实验室在数学、编码这些"最显眼"的方向已经接近逃逸速度,怎么办?
Karpathy 的思路:
- 可验证性让问题"可处理",因为你能往上砸海量 RL;而这一点即便实验室没直接盯着,也依然成立。
- 如果你处在一个可验证的设定里、能造出 RL 环境或样本,那你就具备了自己做微调的条件,并能从中获益。
- 这是"一拉就灵"的成熟技术:只要你有大量多样的 RL 环境/数据集,用你喜欢的微调框架"拉一下杠杆",就能得到效果不错的东西。
他希望创业者去找那些"可验证、价值高、却还没进实验室数据分布"的 RL 环境——这是方法论的核心。
八Vibe Coding vs Agentic Engineering
这是本场的"标题问题":去年他造了 vibe coding,今天世界更"严肃"、更 agentic 了,两者区别是什么?
| 维度 | Vibe Coding | Agentic Engineering |
|---|---|---|
| 本质 | 抬高地板:让所有人都能做出软件 | 守住天花板:保住专业软件原有的质量标准 |
| 对象 | 人人皆可"凭感觉"造任何东西 | 专业工程师在不牺牲质量的前提下提速 |
| 责任 | — | 不允许因 vibe coding 引入漏洞,你仍要对软件负责 |
| 定位 | 降低门槛 | 一门工程学科:协调一群"尖锐、易错、随机但极强"的 agent |
他之所以叫它"agentic engineering",是因为它确实像一门工程学科:这些 agent 是"尖刺状的实体",有点不可靠、有点随机,但极其强大;如何协调它们在不牺牲质量标准的前提下提速,正是 agentic engineering 的领域。
关于 "10x 工程师":他认为这个倍数被大幅放大了。"10x 已经不足以形容你能获得的加速"——真正擅长此道的人,峰值远超 10x。
九AI 原生工程师长什么样
引用 Sam Altman 去年在 AI Ascent 的话:不同代际用 ChatGPT 的方式不同。Karpathy 的回答:本质和过去一样——把工具用到极致、用上它的全部特性、投资自己的配置(setup)。就像以前工程师把 Vim / VS Code 用到飞起,现在是把 cloud code / codex 用到飞起。
招聘范式必须升级
大多数公司还没为"agentic 工程能力"重构招聘流程——如果你还在出"解谜题",那还是旧范式。新的考法应该是给一个很大的真实项目,看人怎么实现:
"比如写一个给 agent 用的 Twitter 克隆,把它做好、做安全,让一些 agent 在上面模拟活动;然后我用 10 个 codex 5.4 高强度实例去尝试攻破你部署的网站,而它们不应该能攻破。"
十人类的新价值:品味、判断、规格
问:当 agent 做得越来越多,什么人类技能反而更值钱?
答:你仍然要掌管审美、判断、品味与监督。他举了 MenuGen 的"诡异 bug":用户用 Google 账号登录、用 Stripe 账号买额度,两边各有邮箱;agent 竟用 邮箱地址去跨账号匹配资金,而不是用持久的 user ID——可两边邮箱完全可以不同,于是资金对不上。"用邮箱来交叉关联资金,这事儿太怪了。"
所以人要掌管spec(规格)、计划与顶层分类。更普遍的做法是:和 agent 一起设计一份非常详细的 spec(本质就是文档),再让 agent 去实现,你负责监督和顶层结构,细节交给它。
人定方向与约束,agent 填细节。就像 PyTorch/NumPy 里 keepdim、dim/axis、reshape/permute 这些 API 细节,现在交给"记性很好的实习生",但你仍需理解底层原理。
十一动物 vs 幽灵
他写过一篇引发热议的文章:"我们不是在制造动物(animals),而是在召唤幽灵(ghosts)。"
| 动物(生物智能) | 幽灵(当前 LLM) | |
|---|---|---|
| 塑造来源 | 进化:内在动机、乐趣、好奇、赋能 | 数据 + 奖励函数 |
| 底层 | 有机体 | 预训练的统计电路 + RL "栓"在其上 |
| 对"训斥"的反应 | 可能影响表现 | 毫无影响——你冲它吼,它不会做得更好或更差 |
他坦诚这篇更像"哲学化思考",不确定有没有"实际威力"。写它是为了给"这些东西到底是什么"建一个心智模型——模型越准,你用起来越称职。
十二走向 Agent 原生的世界
当 agent 拥有真实权限、本地上下文、能代你行动时,世界会变成什么样?
他的"最爱吐槽":如今的框架/库文档仍然是写给人看的——"为什么还在告诉我该怎么做?我什么都不想做。我该复制粘贴给 agent 的那段东西在哪?"
大家兴奋的方向是把工作负载分解为对世界的传感器(sensors)与执行器(actuators),做到 agent native:优先用 agent 能读懂的数据结构来描述一切。
最终走向:人和组织都有 agent 代表——"我的 agent 会和你的 agent 去敲定我们开会的细节。"
十三智能廉价时,什么仍值得深学
收尾落在教育。当智能变得廉价,什么仍值得"深入学习"?
他引用一条最近让他反复回味的推文:
"You can outsource your thinking, but you can't outsource your understanding."
他说自己正在成为系统的瓶颈:信息仍要进入他的大脑,他要知道"我们到底想造什么、为什么值得做、如何指挥我的 agent"。最终总得有东西去指挥思考与处理,而这从根本上受"理解"约束。
这也是他对知识库兴奋的原因:每当他看到信息的一种"新投影(projection)",就会获得洞见。他把读到的文章喂进自己不断生长的 wiki,再围绕它做大量"合成数据生成"式的提问——这些工具本质是在增强"理解"。而理解恰恰是 LLM 不擅长、人类仍独占的环节:你无法在自己不理解的情况下当好一个"导演(director)"。