惟愿此心无怨尤

【读书笔记】Sequoia AI Ascent 2026（六）：Andrej Karpathy — 从氛围编程到智能体工程

21 min

引言与程序员的”落后感”

  • 00:02 主持人介绍Andrej Karpathy，提到他创造了”氛围编程 (Vibe Coding)“一词，并且最近表示他”作为一名程序员，从未感到如此落后”。

  • 01:05 转折点（12月）： Karpathy分享他一直在使用基于智能体的工具（如Cursor等代码辅助工具）。去年这些工具在生成代码块时还需要人类去纠正。但在12月他休假期间，他发现最新的模型可以直接生成完美的极长代码块，他几乎记不起上一次手动纠正代码是什么时候了。

  • 01:40 这种体验促使他越来越信任系统，进入了”氛围编程”的状态。他强调，如果你仅仅停留在去年把AI当作ChatGPT类聊天机器人的阶段，你需要重新审视它，因为”连贯的智能体工作流 (Agentic Coherent Workflow)“已经发生了根本性的改变。

软件3.0与计算范式的转变

  • 02:28 概念：软件演进阶段

  • 软件 1.0 (Software 1.0)： 人类编写明确的代码和规则（逻辑驱动）。

  • 软件 2.0 (Software 2.0)： 人类通过整理数据集和设定目标来训练神经网络（权重驱动）。

  • 软件 3.0 (Software 3.0)： 编程演变为”提示 (Prompting)“。提示词上下文窗口成为了控制解释器（LLM）的杠杆，让其在数字信息空间中执行计算。大语言模型本质上变成了一台可编程的新型计算机。

  • 03:40 示例 1：OpenClaw（或类似开源工具）的安装

  • 为何使用此示例： 说明软件1.0与3.0在操作上的巨大差异。

  • 描述： 在软件1.0中，安装通常需要一个极其复杂的Shell脚本，以应对不同平台和环境。但在软件3.0中，你只需要复制一段文本指令并扔给你的AI智能体，智能体会运用自身的智能，观察你的电脑环境，进行智能操作并在循环中自行调试（Debug）。

  • 04:52 示例 2：MenuGen 应用程序的消亡

  • 为何使用此示例： 说明AI不仅是让现有编程变快，而是彻底颠覆了现有应用的架构逻辑。

  • 描述： Karpathy曾经自己写了一个叫MenuGen的App（作用是在没有配图的餐厅菜单上，通过OCR识别菜名并用AI生成配图）。他使用了Vercel等框架。但他发现，在软件3.0时代，这个App是多余的（Spurious）——你只需要拍一张菜单照片给Gemini模型，让它”使用Nanobanana在菜单上叠加渲染配图”。神经网络完成了所有的中间工作，App这一中间层被直接抹去了。

  • 06:49 示例 3：LLM知识库

  • 为何使用此示例： 说明AI解锁了以前根本不存在的计算形式。

  • 描述： 过去没有传统代码可以仅仅基于一堆事实文档就自动为你或组织生成一个动态重组的维基百科，但在软件3.0时代，这种非结构化的数据重组和信息处理成为了可能。

未来推演：神经网络作为”主进程”

  • 08:19 未来的计算形态（2026年及以后的推演）：
  • Karpathy认为未来的推演会看起来”非常奇怪”。
  • 视觉参考： 视频中提到了一个”算力分布比例正在向神经网络倾斜的图表”（虽然屏幕上未直接显示出该图，但他用语言描述了神经网络将占据主要计算资源的趋势）。
  • 类比：计算的早期分歧。 在50和60年代，人们不确定计算机应该长得像”计算器”（经典计算）还是”神经网络”。历史上我们走向了经典计算，让神经网络作为虚拟化程序在其上运行。
  • 颠覆： 未来，这种关系将会反转。神经网络将成为”主进程 (Host Process)“，而传统的CPU将变成**“协处理器 (Co-processor)“。神经网络处理繁重的认知计算，仅在需要确定性任务时调用传统工具。

可验证性 (Verifiability) 与”参差不齐”的智能

  • 09:41 核心逻辑： 传统计算机容易自动化那些”可以在代码中具体说明”的东西；而最新一代LLM容易自动化那些”可以被验证 (Verifiable)“的东西。

  • 前沿实验室在训练LLM时，使用的是巨大的强化学习 (RL) 环境。模型根据验证奖励 (Verification rewards) 进行学习。

  • 11:21 概念：参差不齐的智能 (Jagged Intelligence)

  • 解释： 模型的各项能力极度不平衡，在某些领域（如数学、代码）达到了不可思议的顶峰，而在其他日常逻辑中却显得愚蠢。

  • 示例 4：草莓与洗车悖论

  • 描述： 模型以前不知道单词”Strawberry”里有几个’r’；现在最先进的模型（如Opus）可以在瞬间重构10万行的代码库，甚至发现零日漏洞 (Zero-day vulnerabilities)，但当你问它”洗车店在50米外，我该开车去还是走路去？“时，它会告诉你走路去（完全没有意识到去洗车店必须把车开过去）。

  • 为何使用此示例： 生动地证明了由于缺乏日常生活常识的强化学习环境，模型的智能是严重失衡的。

  • 12:28 示例 5：GPT-3.5 到 GPT-4 国际象棋能力的飞跃

  • 描述： 国际象棋能力突飞猛进，不是因为模型智力的自然演进，而是因为有人在预训练数据中混入了海量的国际象棋数据。

  • 为何使用此示例： 说明模型的强大很大程度上受限于实验室投喂的数据分布。如果你的任务属于模型强化学习的”电路 (Circuits)“内，它就会飞速运行；如果在分布之外，你就会举步维艰，必须自己进行微调 (Fine-tuning)。

氛围编程 vs. 智能体工程

  • 15:43 术语辨析：

  • 氛围编程 (Vibe Coding)： 强调”提高下限 (Raising the floor)“。让所有人都能通过自然语言提示轻松开发软件，无需深入懂代码。

  • 智能体工程 (Agentic Engineering)： 强调”维持质量上限 (Preserving the quality bar)“。指如何协调一群强大但偶尔不靠谱的AI智能体，在极速开发的同时，不引入安全漏洞，保持专业软件的工程质量。

  • 16:55 智能体工程师的生产力上限极高，带来的效率提升远超传统的”10倍工程师”。

  • 18:28 如何招聘智能体工程师？

  • 不要再考传统的算法题（旧范式）。

  • 面试方法：给他们一个庞大的项目（例如为AI智能体写一个Twitter克隆版），让他们用AI工具迅速搭建。然后，面试官使用10个高级AI黑客（如Codex实体）来疯狂攻击他们部署的网站。如果防守住了，就说明他们具备协调智能体和把控质量的能力。

智能体时代的的人类技能与局限

  • 20:00 人类角色的转变： 智能体现在就像”实习生”。人类依然需要负责美学 (Aesthetics)、判断力 (Judgment)、品味 (Taste) 和监督 (Oversight)。

  • 示例 6：Stripe与Google邮箱匹配错误

  • 描述： 在MenuGen中，智能体错误地试图把用户Stripe支付的邮箱和Google登录邮箱强行比对作为唯一凭证，而不是生成一个持久的用户ID，导致资金匹配失败。

  • 为何使用此示例： 证明AI仍然缺乏业务逻辑和架构品味，需要人类来把关架构设计。

  • 21:04 人类仍需理解底层逻辑：

  • 代码片段/API： 开发者不再需要死记硬背 API 细节（例如 PyTorch 的 keep_dims，NumPy 的 axis，或是 reshape 还是 permute）。

  • 但必须懂原理： 人类必须理解底层的”张量 (Tensor)”、“视图 (View)“与”内存存储 (Storage)“的区别。如果不懂底层原理，让AI随意生成，会导致不必要的内存拷贝，引发性能崩溃。

  • 22:57 示例 7：microGPT的简化挫折

  • 描述： Karpathy尝试让LLM把训练大模型的代码简化到极致（极致的优雅和简单），但LLM完全做不到，生成的代码总是非常臃肿、复制粘贴多、抽象生硬。因为”追求极致极简主义的美学”并没有存在于AI的奖励函数中。

动物与幽灵 (Animals vs. Ghosts)

  • 23:31 隐喻：“我们不是在培育动物，而是在召唤幽灵”
  • 为何使用此隐喻： 改变人们对待AI的心智模型。
  • 解释： 动物有进化而来的内在动机、好奇心和生存本能（如果你对动物大喊大叫，它会害怕或反抗）。但AI没有，它是由统计学和奖励函数塑造的”幽灵”。对模型大吼大叫或运用人类心理学是没有用的，必须以怀疑的态度去探索它的统计电路和边界。

重构为智能体原生的世界 (Agent-Native World)

  • 25:21 现有的互联网和文档都是为人类阅读设计的，这在未来是低效的。

  • Karpathy的抱怨： “为什么文档还要告诉我’去这个URL点击那个’？我不想做任何事，请直接告诉我这段可以复制给我的AI智能体的文本是什么！”

  • 26:12 视觉/物理类比：传感器 (Sensors) 与执行器 (Actuators)

  • 工作负载将被分解为面向现实世界的”传感器”（收集数据）和”执行器”（采取行动），而中间完全由AI智能体驱动，使用LLM易读的数据结构。

  • 最终愿景：我的智能体直接与你的智能体对话来安排会议或处理事务。

教育、思考与理解的不可替代性

  • 27:44 重要引述 (Quote)：

“You can outsource your thinking but you can’t outsource your understanding.” （“你可以把思考过程外包出去，但你无法把理解能力外包出去。”）

  • 28:24 人类大脑变成了计算的”瓶颈”。尽管LLM可以帮助生成、重构和处理海量信息（例如LLM知识库能对信息进行不同的投射，带来深刻见解），但最终”信息必须进入我的大脑”。
  • 人类必须明确我们为什么要建这个系统，大方向是什么。LLM不擅长真正的”理解”，人类作为系统中的导航者和监督者，其地位是独特的，因此深度学习和理解基础概念仍然极具价值。

总结

视频高层级摘要

在本次访谈中，知名AI专家Andrej Karpathy深刻探讨了人工智能如何将软件开发从逻辑驱动的1.0范式推向由大语言模型主导的”提示”驱动的3.0范式。他剖析了最新一波AI模型由于训练数据的偏好而展现出的”参差不齐的智能”，并区分了让大众赋能的”氛围编程”与要求高质量和安全把控的”智能体工程”。Karpathy认为，未来的计算架构将以神经网络为核心，而传统CPU将沦为辅助。然而，尽管AI可以极大接管繁琐的编码和信息处理工作，人类依然是架构设计、美学判断以及底层业务逻辑的核心，验证了”思考可以外包，理解无法外包”的深刻教育理念。

关键要点列表 (Top 15 洞察)

  1. 编程的断层时刻已至： 去年AI还只是副手，从去年12月起，AI已经能实现长篇无错的连贯工作流。
  2. 软件 3.0 的核心： 编程不再是写代码，而是写提示词；自然语言窗口是调动新型计算机（LLM）的唯一杠杆。
  3. 消除中间层： 许多传统App（如MenuGen）的存在是多余的，AI可以通过直接的端到端数据处理取代专门编写的应用程序。
  4. 计算架构的反转： 未来计算范式中，神经网络将取代CPU成为主进程，而CPU将变成仅用于确定性任务的协处理器。
  5. 可验证性是自动化的关键： AI最容易接管那些目标和结果能被数学或代码明确验证的领域。
  6. 智能的极度不均衡： 由于实验室在强化学习阶段投喂的数据分布不同，AI可以在重构10万行代码的同时，缺乏诸如”去洗车店必须开车”的常识。
  7. 氛围编程的普惠性： Vibe Coding极大地拉高了非专业人士开发软件的底线。
  8. 智能体工程的专业性： Agentic Engineering则是专业开发者如何在10倍效率下协调AI的同时保持代码安全和专业水准的学科。
  9. 新型面试方式的诞生： 招聘高级工程师不再是做算法题，而是防守由大量AI黑客发起的红蓝对抗。
  10. 人类是架构品味把关人： 智能体常在用户ID设计、业务逻辑关联等架构层面犯低级错误，需人类监督。
  11. API的死亡与原理的永生： 死记硬背API参数已无意义，但深刻理解底层内存管理和张量原理对于防止AI写出灾难级性能的代码至关重要。
  12. 极简主义是AI的盲区： 目前的AI代码偏向臃肿，它在奖励函数中缺乏对代码”优美和极简”的追求。
  13. 召唤幽灵的心智模型： 不要用对人类和动物的情感、直觉去预期AI，它们只是由统计学驱动的回路体系。
  14. 基础设施将全面”智能体原生化”： 现有的给人类阅读的文档是落后的，未来接口必须直接面对智能体的传感器和执行器。
  15. 不可替代的认知底线： AI可以代理信息的计算和处理，但人类依然是”理解”和最终目标的唯一容器。

视频技术术语词汇表 (Glossary)

  • Vibe Coding (氛围编程): 强调通过非正式的、直觉式的自然语言提示词来指引AI完成软件开发，无需亲自编写具体代码逻辑，降低了创造技术的门槛。
  • Agentic Engineering (智能体工程): 将AI智能体视为强大的组件，通过严谨的工程、架构设计和约束机制，安全且高质量地将它们集成到企业级开发工作流中的系统工程。
  • Software 1.0 (软件1.0): 传统的编程范式，由程序员手动使用C++、Python等语言编写确定的逻辑和规则。
  • Software 2.0 (软件2.0): 通过收集数据集和定义损失函数，让神经网络自行学习解决问题（如深度学习的普及）。
  • Software 3.0 (软件3.0): 将具有庞大世界知识的大型语言模型 (LLM) 视为虚拟机，通过自然语言作为提示 (Prompt) 进行编程的新范式。
  • Jagged Intelligence (参差不齐的智能): 形容当前AI模型在部分硬核技术领域（如高等数学、高级编程）远超人类，却在简单的日常常识推理上犯下可笑错误的现象。
  • RL / Reinforcement Learning (强化学习): 一种机器学习方法，通过给模型设定”奖励”或”惩罚”，让其在特定环境（如编程或游戏）中不断试错，以达到性能最大化。
  • Context Window (上下文窗口): 大语言模型一次能接收和”记住”的输入信息长度限制，在软件3.0中它相当于程序的运行内存或指令集。
  • Zero-day Vulnerabilities (零日漏洞): 软件中尚未被发现、修补的极度危险的安全漏洞。现代顶尖AI已被证明具备寻找此类漏洞的极高智力。
  • Sensors and Actuators (传感器与执行器): 视频中引用的比喻。传感器指智能体用来读取现实世界或网络数据的接口；执行器指智能体用来对外部世界实施改变（如下单、发邮件）的操作接口。
读书笔记