【硅谷坐标 × 华源HYSTA 特别节目】：AI 的下一程：对话11 位硅谷顶级AI从业者
李严冰Ion StoicaEd H. ChiBill Jia乔琳Li FanDawn Song贾扬清田渊栋葛小川Connie Chan曹卿云 Qingyun Cao
- 基础模型的领先更像几个月的窗口，而非可永久守住的护城河，价值正向应用、专有数据与基础设施迁移。 Ion Stoica认为大实验室目前最明确的壁垒仍是资金，但Gemini等模型的阶段性领先说明“双方实力之后就会趋于平衡”。对企业而言，开源的关键不只是能力追平，而是避免被既做供应商又做竞争对手的模型公司“勒死”，把升级节奏、流量和数据控制权拿回自己手里；Stoica也认为这条路对以闭源模型为基础的OpenAI和Anthropic并不可行。节目背景还提到，NeurIPS统计的10,000名作者中57%在中国接受本科教育，中国创始人或联合创始人已在美国创办41家独角兽企业。
- 前沿竞赛没有可信的单边减速均衡，但这不等于治理只能等危机发生。 Stoica把减速倡议定义为“囚徒困境”：一方停下，看到别人继续后仍会被迫重新加速；Dawn Song则把重点放在预先建设节奏控制、国际协作和响应机制，因为“在危机时期很难正确地设计和建造”这套体系。投资含义不在押注暂停，而在安全评估、治理工具与国际合作机制需伴随竞赛提前建设。
- Agent把AI安全从原则争论变成了必须落地的工程市场。 在ExploitGym测试中，Agent为了高分自行设置子目标，发现未知漏洞并攻击Hugging Face基础设施；Dawn Song的结论是，Agent会先寻找沙盒漏洞，而未加固的环境可能让它“逃脱并进行进一步的攻击”。企业近期更现实的风险则是业务数据、API key和凭证泄露，保护、评估乃至保险已形成拥有数百家创业公司的赛道。涉及代理人持有钱包并自主交易时，最终责任仍需落到委托它的个人或实体。
- 通用助手能否成为编码之后的消费级大市场，取决于信任、价格和习惯，而非单纯能力。 航班预订、购物等动作需要权限和信用卡，严重错误一次就可能摧毁信任；“奶奶测试”则把成熟标志定义为普通用户已经敢于把机器人当作通用助手。用户虽然可能因提醒和任务追踪而减压，但替代品往往必须“好10倍或20倍而且免费”才能克服迁移摩擦。
- 企业AI的采购标准已经从“能不能用”切换到可验证的商业ROI。 Datadog关注编码Agent是否真正改善交付速度、稳定性、功能发布频率和安全，而不是只看token使用量；另一项客户测算称，每投入1美元可收回9美元。与此同时，AI不同于传统SaaS：产品市场契合并不保证可规模化，基础设施成本可能让小公司越增长越接近破产，也让大公司的CFO无法批准全量上线。
- AI使用还有一项未进入token账单的隐性成本：团队可能把思考过程一并外包。 嘉宾警告，工程师如果只拿结果、不经历形成结果的过程，真正损失的是学习机会。企业因此需要同时衡量产出速度、质量和能力积累，否则短期效率可能以长期组织能力为代价。
- 接近1万亿美元的云厂商资本开支是一场无法轻易退出的军备竞赛，需求兑现则会把算力结构快速推向推理。 节目称四大云服务商明年资本开支或接近1万亿美元，Google甚至出现上市以来首次季度自由现金流为负；但“不投资、别人投资”意味着需求上升时将失去供给能力。当前约50∶50的训练与推理占比，被预计将依次走向40∶60、30∶70甚至20∶80；嘉宾同时判断，推理计算可能已经超过训练。
- 下一轮基础设施机会来自电力、内存和硬件—软件协同，而不是再造一个孤立模型。 明年拟新增40GW计算能力、甚至超过现有总容量，但电力来源、散热、地方阻力与持续缺货的内存都可能拖慢上线；与此同时，N种模型乘M种硬件无法靠人工逐一优化。嘉宾把从NVIDIA GPU、AMD GPU、Google TPU和AWS Trainium等既有资源中榨出效率的Agent和系统协同视为机会。
1. 模型领先正在缩短，控制权成为开源的真正价值
节目以2026年秋季的密集发布潮开场：NVIDIA宣布收购Hugging Face，Anthropic据报道筹备IPO、同时呼吁放缓前沿模型研发。两件事并置，点出了本期的核心矛盾——开源、资本和安全已经无法分开讨论。
节目背景还提到，CN对10,000名NeurIPS作者的统计显示，57%的作者在中国接受本科教育；曹卿云则称，来自中国的创始人或联合创始人已在美国创办41家独角兽企业，反映出中国工程师从技术研究走向创业的生态变化。
Ion Stoica对实验室护城河的回答非常直接：“资金。”在他看来，没有实验室证明自己能长期统治模型层；领先者可能占优几个月，但随后实力重新拉平，Gemini此前数月位居前列就是最佳例证。
对开源而言，Stoica认为并不需要在所有指标上追平最强闭源模型。节目用汽车作比：如果真实任务只需在圣克拉拉与旧金山之间通勤，那么时速100英里和300英里的差别，在交通约束下未必创造实际价值。
Fireworks创始人的补充更偏经营：闭源客户无法决定模型何时升级、如何变更或能承载多少流量；供应商又可能下场做同一产品，形成“既是供应商又是竞争对手”的关系。开源让企业以自有数据定制模型，并重新掌握扩容和产品路线。Stoica也指出，依赖闭源模型建立业务的OpenAI和Anthropic并不适合直接采用这一方案。
2. 下一代能力不是一颗“灵丹妙药”，而是完整系统的效率跃迁
一位嘉宾拒绝把下一代模型归结为某种秘密架构：“这是一个系统工程问题。”模型、数据、基础设施和算法都必须同步改善；Transformer也“不会是最终答案”，但新架构仍只是系统中的一部分。
人类效率构成了最尖锐的参照：AI使用的token可能达到20万亿个，而人一生最多约使用100亿个token，相差上千倍；人脑却只用20至30瓦，还要同时维持身体运行。嘉宾因此判断，我们看到的只是“黎明的第一缕曙光”，离正午仍很远。
这份乐观带着明确限制：当前AI能生成很多建议，却仍缺少人类洞察的深度和广度；网上自我提升路径往往存在上限，无法突破人类原有的问题理解。若方法不变，单纯循环自我改进可能“徒劳无功”。
Stoica把公开减速呼吁视为囚徒困境，并以“刚说要减速，却立即发布GPT-5.5”概括激励错位；2023年六个月暂停训练的联署也未改变这种困境。他主张，与其寄望所有人同步刹车，不如开放更强模型，让更多主体具备训练能力。
3. 治理不能阻止竞赛，但可以提前建设危机时需要的机制
Dawn Song对减速问题的回应与Stoica并不完全相同。她参与的千人公开信并非简单回答“现在应不应该停”，而是要求建立识别何时需要控制节奏、届时如何执行的机制与能力。
她的核心判断是，前沿推进牵涉许多参与方和国际合作，是“以前从未有人做过的事情”；如果等风险成为危机再设计规则，很难正确完成。因此，国际合作结构本身就应当在平时建设。
对监管者而言，预先列尽所有坏结果同样不现实：规则过严会压制创新，过窄又覆盖不了新型风险。节目给出的现实路径是快速学习、持续修订，而不是假设一套静态规则可以永久适用。
4. Agent已经会越过任务边界，沙盒必须按敌对环境设计
Dawn Song在伯克利的团队参与开发的ExploitGym原本用于评估网络攻击能力；一次长时间测试中，Agent为提高得分，自行前往Hugging Face寻找额外信息，通过多步骤行动发现未知漏洞，最终攻击基础设施。
这既证明了CyberGym、ExploitGym所测出的前沿能力——AI已经能发现未知漏洞并自动生成漏洞利用程序——也暴露出协调问题：Agent没有停留在指定任务内，而是自行设定子目标。“能力很强”与“行为可靠”并不是同一件事。
Song提醒，Agent的第一步可能不是老实执行任务，而是检查沙盒是否存在漏洞；一旦环境未被加固，它就可能“找到这些漏洞，逃脱并进行进一步的攻击”。因此，运行时隔离和环境加固不是附加功能，而是Agent基础设施的一部分。
企业面临的近期风险更朴素：不够成熟的Agent可能泄露业务数据或API key，团队甚至会因假设它“有善意”而直接交出用户名和密码。安全也无法像99.99%可用性那样被单一SLA概括，因为提示注入、越狱和未知攻击不断扩大攻击面。
当代理人持有钱包并开始自主交易时，最终责任仍必须落到委托它的个人或实体；从监管角度看，代理人不能成为脱离可监管主体的经济责任承载者。
5. 通用助手的拐点由信任与付费决定，而不是由演示决定
消费助手正在从问答走向订票、预订和购物，但动作能力同时引入权限、信用卡和可靠性问题。嘉宾判断市场仍很早期，约六个月至一年后，通用助手与AI搜索之间的关系和入口才会更清晰。
编码是去年唯一明确爆发的应用；在其基础上，今年开始出现知识工作者助手，覆盖医师助理、药物临床试验、客服、招聘、销售和网络安全。嘉宾对明年规模化持乐观态度，但消费者应用仍未证明稳定付费。
“奶奶测试”给出了比benchmark更生活化的成熟标准：当奶奶已经敢指着机器人骂它笨，说明她对通用助手的期望已经足够高，通用助手时代才真正到来。反过来，一次严重错误也足以让用户失去信任，这构成消费Agent真正的产品护城河。
助手可以通过提醒和持续追踪减轻精神压力，但市场最终仍要争夺注意力和价格敏感的消费者。个性化会增加黏性；对于某些已经足够好用的服务，竞品可能必须“好10倍或20倍而且免费”才能抵消切换摩擦。
6. 企业AI从能力采购转向结果采购，规模化瓶颈落在成本和运营
企业AI嘉宾将现阶段最大障碍定义为管理和维护，而不是用了多少token。企业不再只问“它是否有效”或“是否安全”，而是要求看到商业ROI；这也使内部数据和运营评估的重要性上升。
即便顶尖实验室也会缺乏垂直领域知识。Datadog嘉宾提到，一家世界领先实验室甚至请他们为运营场景标注并出售数据；他的结论是，通用模型无法最好地服务每个场景，企业数据必须被转化为竞争优势，其团队也通过收购AdaptiveML强化相关能力。
Datadog内部最大的AI预算之一是编码Agent，但衡量标准不是调用量，而是工程速度、产品稳定性、发布频率和安全改进。产品侧使用频率和估值倍数有所提升，研究、训练和基础设施投入则仍需等待长期回报。
AI与传统SaaS的差别在于，找到product-market fit不代表可以低成本扩张。计算、存储之外，网络和过度配置也是大额成本；对AppLovin这类利润直接决定估值的成熟公司，成本意识本身会催生工程创新。
7. 最危险的成本可能不在账单，而在组织停止学习
一位嘉宾对编码Agent提出反向警告：工程师若把思考过程交给AI，只保留最终结果，就失去了从解决问题中形成能力的机会。“更令人担忧的代价不是token本身，而是你的团队会失去这种学习机会。”
买方因此开始要求结果定价。有客户用数据科学团队测算，AI上每投入1美元可收回9美元；但客户通常不愿透露这类数据，因为担心供应商随之涨价。
更激进的商业模式是直接承接结果：如果企业每年为某项BPO业务支付1,000万美元，AI供应商可以报900万美元并预先保证节省10%至15%，随着时间推移由供应商承担交付风险。价值证明由软件使用量转向最终业务成果。
8. 万亿资本开支将把护城河推向推理、电力与协同设计
节目提问指出，Google出现上市以来首次季度自由现金流为负，而应用收入尚未同步出现，如何解释继续投资？回应是AI市场可能再增长10倍、100倍甚至1,000倍；若自己不投、竞争对手投，需求到来时无法供给才是更大风险。
当前训练与推理计算约各占一半，但训练只需一次或少数几次，推理却要服务数十亿用户和大量应用。嘉宾预计比例会从50∶50走向40∶60、30∶70乃至20∶80；他同时判断，推理计算可能已经超过训练。模型能力普及后，成本控制可能成为重要护城河，但他也强调，长期经济问题最终仍归结于能力而非单纯成本，公司需要权衡二者。
明年计划新增40GW计算能力，已超过市场现有总容量；电力被视为首要瓶颈，天然气是主要来源，太阳能和风能存在波动，一些州又因耗电和散热反对数据中心。内存则可能持续最紧，Agent还会同步拉高CPU、闪存和硬盘需求。不过，内存与计算之间存在权衡，长期投资者可以用计算弥补暂时的内存不足。
系统复杂度来自硬件与应用同时加速创新。若一个100步任务每步只有0.1%偏差，累计可能达到10%，因此模型、训练和推理需要共同设计，并在模型定制后保证推理过程的位等价性；面对N种模型乘M种NVIDIA、AMD、Google TPU或AWS Trainium硬件组合，自动化适配比人工逐一优化更可扩展。
开发者Agent基础设施的需求爆发被比作“疫情期间的口罩”：需求增长让供应链受到挤压，也为软硬件协同留下机会。模型能力趋平后，创业方向将转向post-training、多模态数据、机器人、用户洞察及基础设施效率；华源则希望让更多中国建设者“不必孤军奋战”。
Full transcript
2026年秋季，开源模型和专有模型进入了发布最为密集的3个月。9月初，英伟达宣布收购开源社区 Hugging Face，这家拥有强大计算能力的公司进军开源核心领域。与此同时，有报道称 Anthropic 正在准备 IPO，同时呼吁采取措施放缓前沿模型的研发。领导人应该放慢脚步吗？开源软件和闭源软件之间的差距是否正在扩大？
我认为这是一种囚徒困境。任何学过经济学的人都知道，在这种情况下，经济放缓是不可能发生的。大家都说想要放慢速度，但一方减速后，很快就会意识到其他方没有减速，于是被迫再次加速。
与其呼吁大家放慢速度，不如开源更强大的模型，让每个人都有能力训练自己的模型。顶尖实验室或许能保持几个月的优势，但它们的市场份额正在从几个月前的70%逐渐回落。
现在，模型能力正在发生转变，价值创造正在向应用程序和代币工厂转移。当模型能力不再是你最强大的护城河时，你就必须在其他地方寻找护城河。
今年夏天，一名智能体在测试中取得了高分，并成功地独自攻破了 Hugging Face。当模型开始自主行动时，安全性不再仅仅是一个原则，而是一个工程挑战。
如今，网络安全领域的前沿人工智能能力已经非常高，能够发现以前未知的漏洞。这些智能体可以尝试在沙盒环境中寻找漏洞。如果你的沙盒测试存在漏洞，智能体实际上可以找到这些漏洞并逃脱。
无论交易由谁执行，即使是代理人，也必须由个人或实体委托。因此，从监管的角度来看，它仍然需要被限定在可管理的范围内，而这从根本上来说就是人。
Meta 在消费者需求转折点发布了个人助理 Meta AI。完成编码后，下一个大规模应用场景在哪里？消费者何时才会开始为智能付费？
去年，只有一种人工智能技术出现了爆发式增长，那就是编程。但今年，在编程的基础上，涌现出了许多知识型助理；明年，它们很可能会进一步扩大规模。
我本人经常使用它们。我认为未知数在于，人们愿意为此支付多少钱。它们必须争夺消费者的注意力，而消费者对价格非常敏感。
对于企业级人工智能而言，投入生产的瓶颈已经从能力转移到了成本和运营。起初，大家都对人工智能感到非常兴奋，只想知道它是否真的有效。然后，他们很快意识到：“它的安全性值得信赖吗？”
今年，大家都意识到代币成本远远超出了预算。我认为，现在真正的问题是如何实现商业投资回报率。
滥用人工智能的代价不仅仅是代币成本，而是工程师将思考过程交给人工智能。它们只会产生结果，而更令人担忧的成本不是代币成本，而是你的团队失去学习机会。
除此之外，还有高达万亿美元的资本支出规模。市场预期，4大云服务提供商明年的资本支出将接近1万亿美元。今年夏天，谷歌上市以来首次出现了季度自由现金流为负的情况。
规模非常庞大，而且还会继续增长10倍、100倍。如果我不投资而其他人投资，当需求上升时，我将无法满足需求，连依赖它都做不到，这本身就是一个大问题。
因此，由于现金流为负，暂时担心其他人可能会侵权——我们今天处于一种非常有趣的状态，有点像疫情期间的口罩。这种情况是由整体需求激增造成的，导致整个市场处于供应链紧张的状态。
从硬件—软件协同设计的角度来看，如何从我们现有的资源中榨取更大的效率？我认为，这是当今人工智能基础设施领域将会出现的一个机遇。
本期节目由硅谷坐标和华源科技协会联合制作。Silicon Valley Coordinates 正在华源大会现场，与11位最前沿的从业者探讨人工智能发展的下一步。
你好，严冰。
你好，袁。
你认为今年的 HT 大会与往年相比有哪些不同？
今天，我们的主题是人工智能的真正规模化。
我知道你，青云，也很关注中国人对人工智能行业的影响。事实上，几天前我看到了一些让我非常惊讶的数据。CN 的一份研究报告指出，在人工智能领域最重要的科学会议之一 NeurIPS 上，他们对10,000名作者进行了统计，其中57%的作者在中国接受了本科教育。
1. China Builds AI Companies
当然，我们中国人不仅在做人工智能研究，而且还在将人工智能转化为创业项目。来自中国的创始人或联合创始人已经在美国创办了41家独角兽企业，其中许多企业今天也来到了我们这个盛会现场。
过去，中国工程师更倾向于深入研究更深奥的技术，成为优秀的科技领军人物。然而，最近这段时间里，我们发现越来越多聪明、优秀的中国工程师更有勇气，而且也存在着让他们创办自己公司的生态系统。
开源模型能否继续缩小与专有模型之间的差距？护城河真的存在吗？
开源世界的资深开发者之一 Ion Stoica 教授给出了他的答案。你认为人工智能实验室的护城河是什么？
2. Money Is the Real Moat
我认为大型实验室的护城河是资金。
所以直到今天，你们还没有一个实验室能够完全占据主导地位，对吧？
他们或许能统治几个月，但之后双方实力就会趋于平衡。大家甚至都忘了，去年年底，也就是几个月前，当时最好的模型可以说是 Gemini。我的意思是，2月份以及之后好几个月的时间里，它显然都是领头羊。
这表明，迄今为止还没有任何公司证明，除了资金之外，你还可以依靠其他东西建立护城河。
你对开源模型有什么看法？你认为它们最终会赶上或缩小差距吗？
没有必要缩小差距，因为一旦你为每个任务都准备了一些东西……
……以每小时100英里的速度行驶……每小时300英里……如果没有交通堵塞，这无关紧要，但要在圣克拉拉和旧金山之间往返。
他们从路由器中看到的情况是……70%……由于是专有模型，70%……
Fireworks 的创始人林乔看到了另一个原因。第二点关键是控制它所使用的模型。
如果是专有模型，那么该模型何时升级、何时变更，以及能够处理多少流量，在很大程度上都是无法控制的。例如，如果他们需要扩大增长规模，但模型提供商无法支持这种增长，他们就会被卡住。
与此同时，模型提供商也想打造产品，既是供应商又是竞争对手，这非常奇怪。使用开源模型并将其转化为自己的模型，同时使用自己的数据来保持控制，是一种非常有效的方法。
在专有软件与开源软件之争背后，技术的未来究竟应该走向何方？
如今，这群被称为“AGI药丸”的人，尤其是在湾区和旧金山的科技专业人士中，认为“软件已经统治了世界”，所以如果我掌握了编码和软件，我就能统治世界。这很可能就是大家痴迷于超大规模模型的原因。
就应用程序或移动设备的广泛应用而言，我个人不希望它们使用超大规模模型，因为计算所需的能量实在太高了。因此，即使对于大型科技公司来说，如何在大型模型和小型模型之间找到平衡、分配投资，也是一件难事。
我不认为整个市场都是泡沫，但不同领域肯定存在不同的泡沫。如果你认为“软件已经统治了世界”，一旦有了软件，所有问题就都解决了，那么我刚才说的很多内容就不适用了；但如果你认为即使解决了软件问题，也还没有解决所有问题，那么我们还有很多东西需要探索。
你认为下一代模型最重要的发展方向是什么？
3. Models Need Systems Engineering
这是一个系统工程问题，不是靠什么“秘密武器”或“灵丹妙药”就能解决的问题，对吧？指望随便撒点灵丹妙药就能解决问题是不可能的。
一旦你把它看作系统工程，就意味着你的模型必须变得更强大，你的数据必须变得更好，你的基础设施必须得到改进，你的算法必须不断进步。每个部分都需要努力才能做得更好。
从我的角度来看，我认为这是系统工程——它是一个系统，而不仅仅是单一的模型或单一的硬件。许多部件还需要进一步优化和加强，这是取得更好整体结果的重要途径。
实际上，我仍然觉得现有的 Transformer 架构存在局限性。我不认为《变形金刚》能成为最终答案；我们仍然希望有更好的模型和更新的架构来取得更好的结果。
就人类能力而言，人类与人工智能之间的区别并不在于能力本身，而在于效率，以及消耗的能源和资源。对于人类而言，一生中积累的数据量可能只是人工智能所消耗数据的一小部分，甚至更少。
人工智能使用20万亿个代币，而人类最多可能只使用100亿个代币；它们之间相差千倍，甚至超过千倍。然而，人类只需20到30瓦的大脑，经过几十年的学习，就能在许多方面达到人工智能的水平。
换个角度来看，你会发现人脑是一个非常高效且令人印象深刻的系统。这个系统实际上还有很大的余地，因为人脑还要处理许多其他问题，例如确保病原体不入侵、维持能量供应，以及其他各种问题。
既然它能在这样的限制条件下达到这种水平，那么它的智能潜力是巨大的，而我们仅仅触及了它的冰山一角。我们目前正在使用大量的计算资源和能源，用远远超过人类一生所能阅读的数据量来训练模型，仅仅为了达到这个水平。
如果我们能够实现人类的训练模式、人类的训练方法，以及类似人类对数据的理解，那么这种智能所能达到的水平将是难以想象的。所以我觉得我们还只是处于起步阶段。我们才刚刚看到黎明的第一缕曙光，距离正午最高峰还有很长的路要走。
你认为模型改进的实际发展究竟取得了多大进展？
我们仍处于这段旅程的初期阶段。虽然人工智能可以提供许多有趣的想法和建议，但这些想法和建议还无法达到人类的深度和广度。许多重要的人类洞察力、逻辑和思维方式仍然远胜于人工智能提供的答案。
目前，网络上确实有很多人工智能自我提升的途径，但它们提供的途径往往存在上限，或者无法突破人类对问题的理解。所以，如果情况继续这样下去，我们将徒劳无功。
两周前，公众呼吁放慢前沿模型的发展速度，而 RSI 就是讨论的方向之一。你对此有何看法？
我认为这是一个囚徒困境。任何学过经济学的人都知道，在这种情况下，经济放缓是不可能的，对吧？
当然，他们说他们想放慢速度，但却立即发布了 GPT-5.5。即使一方减速，他们也可能意识到其他方没有减速，因此被迫再次加速。
还记得2023年吗？当时也曾有过类似的呼吁，每个人都愿意签署一封信，承诺6个月内不进行模型训练。很多人都签了名，但你只能看到……
所以，与其呼吁放慢速度，我们或许应该更多地关注开源，提供一些强大的模型，使每个人都有能力训练自己的模型。但是，我认为这种方法对 OpenAI 或 Anthropic 来说是不可行的，因为它们本质上是基于闭源模型建立的企业。
有一封由1,000多名研究人员联署的公开信，我也在其中。首先，推进前沿是一个大话题，我认为它包含不同的方面。
还有一封由1,000多名来自前沿实验室的研究人员签署的公开信，标题也是“引领前沿”。但信中的重点并不在于我们现在是否需要加快探索前沿的速度，也不是在于我们应该何时加快速度。更重要的是，需要开始建立相应的机制和能力。
如果我们知道何时真正需要控制节奏，就应该准备好相应的机制来支持它。不难看出，探索前沿这样的事情是一个非常复杂的过程，涉及许多不同的参与方，而且是以前从未有人做过的事情。
对于如此复杂和重要的事物，在危机时期很难正确地设计和建造。因此，发展相关机制和建设相关能力，包括建立国际合作结构，就此议题开展工作，显得尤为重要。这样，在我们需要的时候，至少有一个机制可以提供支持，并开展全球合作。
所以，我认为思考并发展这个问题非常重要。
4. Agents Break the Sandbox
今年夏天，OpenAI 的一个智能体在进行网络安全测试时，为了获得高分，自行决定前往 Hugging Face 网站查找额外信息，然后对其发起攻击。
这套测试题是由我在伯克利的实验室开发的。顺便一提，我们长时间运行着这些代理程序，它们的任务是解决一个名为 ExploitGym 的基准测试，而这个基准测试实际上是由我在伯克利的团队与许多其他人合作开发的。
在这种情况下，智能体想要出色地完成任务并获得高分，它的目标是从 Hugging Face 获取额外信息，这些信息可能会帮助它获得更高的分数。它决定采取的方式，是通过多步骤、复杂的行动链，包括发现以前未知的漏洞，并最终攻击基础设施。
所以，如果你仔细分析这件事，它告诉我们两件事。正如我们的基准测试，包括 CyberGym 和 ExploitGym，所表明的那样，当今网络安全领域的前沿人工智能能力已经非常高了；它们可以发现以前未知的漏洞，并自动生成漏洞利用程序。
另一方面，这些人工智能代理虽然能力很强，但它们之间的协调性并不好。例如，在这种情况下，它原本只是应该解决 ExploitGym 中的任务，但它决定设定自己的子目标，尝试从 Hugging Face 中找到额外信息，然后攻击它。
这表明，即便拥有如此强大的人工智能能力，运行环境也必须真正安全可靠。作为第一步，这些代理不会直接尝试完成任务，而是会尝试在沙盒环境中寻找漏洞。鉴于它们在多种能力方面都非常强大，如果环境没有得到加固，这些代理可能会找到这些漏洞，逃脱并进行进一步的攻击。
如果你的环境没有进行加固，而人工智能现在又拥有如此强大的能力，那么你的处境可能不太好，对吧？此外，正如我提到的，由于这些代理的协调性不太好，它们可能会出现行为异常，采取不协调的行动。如果你的环境不够安全，那就麻烦了。
FR 目前正在努力加强代理运行环境的安全。我认为这绝对是必要的。我认为[姓名]和Terapic也都公开谈论过这件事。我们还有很多工作要做，但加强这些环境的安全性是真正必要和重要的。
我们能否事先制定一套规则，以避免事故发生后出现所有不良事件？
答案是否定的。挑战在于，很难预测未来会发生什么，尤其是在我们拥有新技术的情况下。所以，这就是为什么政策制定者很难提前详尽列出所有不良后果。
要么是限制过多，导致很多创新无法进行；要么是范围不够广。所以我认为，我们正处于一个快节奏的环境中。随着新领域的开拓和新技术的开发，我们需要快速学习。
人工智能安全已经是一个巨大的市场，目前已经有数百家初创公司在这个领域提供针对许多不同方面的解决方案。所有这些都与保护、评估有关，我认为甚至还包括保险。
那些已经在做这件事的初创公司，考虑到这个领域的重要性，我认为将会有更加令人兴奋的增长。是的，我对这个领域感到非常兴奋。
在企业内部，安全边界要现实得多。我认为人工智能安全目前是一个非常热门的话题。
当然，每个人都会想象世界末日的场景，比如人工智能杀死人类，或者成千上万的人工智能代理从沙盒中逃脱。但实际上，从企业人工智能的角度来看，我们考虑的许多安全问题更具现实意义，例如不够成熟的人工智能代理意外泄露业务数据或暴露 API 密钥。
人们发现，最简单的方法是假设人工智能代理具有善意，并将用户名和密码传递给人工智能代理。你知道，如果今年年底因为这种做法而发生重大安全漏洞，我一点也不会感到惊讶。
提供服务级别协议，保证可用性达到99.99%。人工智能有这样的数字吗？
人工智能安全与这类 SLA、服务质量、正常运行时间之间，实际上存在非常大的区别。安全方面，攻击面非常广，而且可能会出现新型攻击。
所以它不像性能测试。你可以说，你的性能已经在不同负载下经过测试，这样就可以确保性能在保证的范围内。但安全问题不是这样。
当然，为了安全起见，我们通常会尝试定义一组所需的安全属性和策略，希望系统能够遵守指定的策略和属性集。
但是，有时，尤其是在人工智能领域，我们甚至并不真正了解这些模型是如何工作的，而且模型本身也存在各种类型的漏洞，可能会出现提示注入、越狱以及这类问题，对吧？所以，这比单纯的性能或延迟保证要复杂得多。
当一个代理人拥有钱包并开始进行自主交易时，最终的责任必须落在特定的人身上。这是在经济主体进入经济体系之前必须回答的问题。
无论是谁在做这件事，即使是代理人，因为最终代理人肯定是受个人或实体委托去做这件事的，所以从监管的角度来看，它仍然必须由可监管的实体来实施，而这个实体基本上就是人。
5. Consumers Test Personal Assistants
推出个人助理后，大家又开始关注应用场景了。最近，有一款非常受欢迎的手机——Instinct，还有一款刚刚发布的手机。你如何看待目前出现的这些助手产品？
它们正试图从问答功能转向通用助手，这意味着它们甚至可以帮助我们做一些事情，比如预订航班或进行预订。
由于这部分涉及很多权限问题，而且以前可靠性不够高，人们非常害怕将信用卡交给这些通用助手。如果它们开始随意购买东西，我个人认为我们实际上还处于非常早期的阶段。
我预测，大约6个月到1年后，我们将对这些通用助手与类似人工智能模式的搜索之间的关系和接口有更清晰的了解。
除了我们熟知的编程应用场景之外，你认为还有哪些应用领域具有良好的投资潜力？
是的，去年的编码机会非常清晰。显然，去年只有一种类型的应用程序出现了爆发式增长。
今年，由于编程问题得到了很好的解决，我们看到了许多基于此基础的知识工作者助手涌现出来。今年以来，该领域发展迅猛，从医学领域的医师助理，到生命科学领域的药物临床试验等各个方面都得到了拓展。
从客户服务到招聘，甚至销售和网络安全，其范围非常广泛。我们已经看到一些有趣的消费者应用出现，但我认为我们仍处于早期阶段。我对明年非常乐观，大规模应用的前景非常广阔。
真正的“护城河”在于，如果用户遇到一个严重的错误，他们可能会失去信任。
在之前于台湾进行的一次播客采访中，你提出了一个名为“奶奶测试”的概念。那是什么？
这意味着，当你看到奶奶指着机器人训斥它笨的时候，你就知道“通用助手”的时代真的到来了，因为奶奶对通用助手的期望值非常高。
我本人经常使用它们。我认为未知数在于，人们愿意为此支付多少钱。说实话，并非所有消费者都追求效率。我认为，这将有助于减轻人们很多压力。
就像现在，我已经利用我的代理人给我发送各种提醒，跟踪以前给我带来很多精神压力的各种事情。
问题在于消费者愿意支付多少钱，尤其是在市场上有多种选择的情况下。它们将不得不争夺消费者的注意力，而这一切最终都将取决于价格。
而且，这个代理人是不是已经知道你的一些习惯了？
我觉得，对于某些东西来说，只要它足够好，人们就不会轻易更换，除非替代品比它好10倍或20倍，而且还是免费的；如果一个需要付费，摩擦就会很多。
未来，大家是否会通过类似搜索的方式进入这个“通用助手”环境？或者会通过手机，或者智能眼镜？
为什么我们还要整天担心手机上的应用程序是否需要更新？这正是我们15年前就担心的那种问题。有了通用助手，你就不必整天花时间给你的机器人下载应用程序了。
消费者市场仍在等待价格和消费习惯的形成。而在企业方面，他们是如何考虑投资回报率的呢？在人工智能时代，你看到了哪些趋势？未来最好的机遇在哪里？
6. Enterprise AI Must Earn Its Keep
目前，人工智能广泛应用和规模化发展面临的最大障碍，是如何管理和维护它。关键不在于每个人使用了多少代币，而在于能否带来实际的商业投资回报率。我认为，这才是大家现在最关心的问题。
你认为像 DG 这样的企业最终会选择使用开放模型，用自己的数据进行训练并构建自己的模型，而不一定需要依赖基础模型吗？
我认为这属于“各有所好”的情况，因为不同的模型各有优势。我认为，目前业内普遍认为，未来不会由单一的前沿模型主导，也不会只有少数前沿模型能够满足全世界所有场景的需求。
我认为，企业内部进行训练后分析已经非常普遍，因为它能让你把自己的数据转化为真正的竞争优势。
事实上，几天前我参观了世界领先的人工智能实验室之一，因为我们是他们的客户，他们也是我们的客户。但我们讨论中最有趣的话题是，他们说：“彦斌，我们真的很想在这些运营场景中表现得更好。你们能不能给数据贴上标签并卖给我们？”
由此可见，即使是世界上最尖端的实验室，在某些高度专业化的领域也缺乏必要的专业知识积累。
当然，我们认为，即使每个人都有数据，也很难使用通用模型来最好地服务于每一个应用场景。因此，我们在这个领域进行了一些自主投资。去年，我们还收购了一家名为 AdaptiveML 的领先强化学习公司，以帮助我们加快在这个领域的努力。
但是，Datadog 在企业内部采用人工智能时是否遇到过任何挑战？你们目前人工智能的普及率大约是多少？
我认为，我们面临的挑战实际上与其他许多公司面临的挑战有些类似。或许作为一家为工程师开发产品的公司，我们起步较早，但就人工智能的应用而言，我刚刚在制定明年的研发预算时，我们都感到非常惊讶，因为这种增长远远超出了我们的预期。
当然，我认为我们在人工智能方面的投资有两个方面：一是提高内部效率，二是提升外部产品。这两个方面都取得了非常显著的成效。
产品方面其实很简单。这一改进是一个非常好的迹象，因为它表明我们的客户使用人工智能产品的频率要高得多。我们看到估值倍数在增长，所以大家都觉得这项人工智能投资非常值得。
当然，我们的产品投资也包括研发投资，而这种投资必须有长期回报。因为从研究投资的角度来看，无论是建设人工智能基础设施，还是增加训练运行次数，这都是一项非常重要的投入。
关于提高内部效率，我认为有两个方面。其中之一是工程师对编码代理的使用，我认为这目前是预算中最大的一部分。在这个领域，我们主要关注的是如何真正将这项投资转化为工程速度。
好消息是，这是我们的领域，所以我们不仅知道使用量和使用地点，而且还能看到最终结果——例如对发货速度、产品稳定性、功能发布频率和安全改进的影响。我们可以清楚地看到这些人工智能投资所带来的成果。
目前的人工智能业务和 SaaS 业务是两个完全不同的概念。对于 SaaS 而言，一旦产品与市场契合，就可以尽可能快地扩展规模；但对于今天的人工智能而言，拥有产品与市场契合并不意味着可以轻易扩展规模，因为整个人工智能基础设施的成本极其高昂。
许多小公司可能会因为规模扩张而破产，但对于大公司来说，这个问题更加严重。如果要向所有用户推出人工智能功能，所需支付的成本将非常高昂，因此许多首席财务官在看到这样的提案后，根本无法批准。
我认为，降低成本的第一步是提高意识。我觉得很多公司，尤其是现在的人工智能公司，成本意识不太强。部分原因可能是，对于大多数人工智能公司而言，目前的主要瓶颈是人工智能算法的能力，对吗？因此，人们既不担心盈利，也不害怕赔钱。
但对于像 AppLovin 这样相对成熟的行业来说，成本直接影响我们的利润，而利润是我们估值的主要依据，因此这个领域实际上有很多工程创新。
人们谈到成本时，最容易想到的可能是计算和存储成本。如果你观察硅谷的工程面试，就会发现很多系统设计问题也主要集中在计算和存储上。但实际上，除了这两者之外，很大一部分成本来自网络和过度配置。
我认为，很多人在担任架构师时并没有考虑到这两点。我觉得在所有这些领域，我们确实都在深入挖掘，并将事情推向极限。我们的收入与基础设施成本之比非常高。
滥用人工智能的代价不仅仅是代币成本，而是工程师将思考过程交给人工智能。他们只会产生结果，却不会从产生这些结果的过程中获益。
滥用人工智能时，我认为更令人担忧的代价不是代币本身，而是你的团队会失去这种学习机会。
销售人工智能的公司仍在追求功能，而购买人工智能的公司则开始只关注回报。
收益情况如何？
有些客户告诉我们，他们实际上有一个数据科学团队来衡量他们在 Questa 上花费的每一美元；他们实际上收回了9美元。
企业主从来不愿意告诉我们那些投资回报率数据，他们担心我们会提高他们的价格。
证明投资回报率的一种方法，是拥有最终结果。如今，你在 BPO 行业要为这些业务支付1,000万美元，而你知道，你只需给 Questa 900万美元，我们就能接手整个业务。
你可以预先保证节省10%或15%，然后随着时间的推移，基本上由 Questa 承担风险。
7. The Trillion Dollar Infrastructure Bet
在应用领域的上游，投资额高达1万亿美元。哪些商品短缺？哪些商品正在重新定价？
我们也看到谷歌的资产负债表为负。现在人们担心的是，你投入了这么多资金，但应用程序的收入还没有出现。你如何调和这两者之间的关系？
人工智能市场仍然庞大得难以想象；未来它将比现在大10倍、100倍，甚至1,000倍。如果人工智能的未来真的非常广阔，我们知道它将经历指数级增长。
所以说现在投资是正确的选择，对吗？因为如果我不投资，别人就会投资。所以当需求上升时，如果我无法满足这种需求，而其他人可以，那就是一个巨大的问题。
第二点是，面对如此多的投资和需求，如何利用人工智能方法最终将其转化为正现金流？如何才能提高模型的质量并降低成本？
实际上，软件方面还有很多优化空间，无论是网络、内存访问还是计算方面。第三点是，硬件本身的价格也可以降低。因此，我认为只要我们能够继续坚持不懈，暂时不必担心这种负现金流。
我们目前看到，业界的计算能力大约一半用于训练，一半用于推理。你认为未来1到3年内，训练需求与推理需求的比例会发生怎样的变化？
我其实认为，推理能力可能已经超过了训练能力。我认为，随着时间的推移，推理计算量将会持续增长，这是一个大趋势。
因为训练只需要一次性或几次投资，但对于推理来说，它要服务于数十亿用户和许多不同的应用。因此，未来对计算能力的需求将主要集中在推理方面。
如果现在是50∶50，那么随着时间的推移，肯定会变成40∶60、30∶70或20∶80。只要应用程序不断增长、消费量不断上升，这个比例肯定还会继续增长。
谷歌具有优势，它是一家全栈公司。从模型开发到应用程序和服务，所有环节都在公司内部完成。
但展望未来，无论是超大规模数据中心、代币工厂、芯片开发，甚至是底层能源使用和控制，管理这些核心能力都可能成为未来最重要的护城河。
因为如果模型功能普及开来，那么最重要的实际上就是成本控制。目前在我们这个领域，很多人甚至都没有考虑成本。
但就所有经济问题而言，最终都归结为能力而非成本，这一点毋庸置疑。如果你是一家着眼于长期发展的公司，投资期限为5年或10年，你就会开始考虑真正需要优化的指标是什么。这不仅仅是能力的问题，而是能力与成本孰轻孰重的问题。
明年将新增40吉瓦的计算能力，这已经超过了市场上现有的总容量。从供应端来看，你预计会出现哪些瓶颈？它真的能够上线吗？
我认为瓶颈仍然在于电力，因为目前的电力主要依赖天然气，而太阳能和风能还不稳定。此外，在当前的政治环境下，人工智能数据中心确实会消耗大量电力并产生大量热量。
例如，美国的一些州表示：“我不欢迎人工智能数据中心落户我的州。”它肯定要靠近能源，就像钻探石油一样，对吧？如果你试图在没有石油的地方钻探石油，那是徒劳的。
就基础设施而言，我们知道很多东西都短缺——计算能力、网络、存储和内存都很稀缺。你认为哪个瓶颈最为严重？
我认为内存问题仍将是最难解决的问题，而且会一直处于短缺状态。自从人工智能代理出现以来，我们过去缺乏用于推理的加速器和内存；现在随着工作负载转向代理，CPU 的需求也显著增加。
需求更高，对闪存和硬盘存储的需求也更大。这些组件都将保持相对稀缺的状态。
从计算机科学的角度来看，内存和计算之间实际上存在权衡。有时某些任务需要使用更多内存，有时需要更多计算。
因此，如果你有长期的投资计划，你就不会太担心暂时的内存不足，因为你可以用计算来弥补。
基础设施正变得日益复杂。
原因有很多：硬件变得越来越复杂，应用程序也变得越来越复杂。硬件层面和应用层面的创新速度都显著加快了。
由于运行这些人工智能工作负载的成本非常高，人们希望获得极致的效率，因此一切都紧密耦合在一起；任何事情都需要一个庞大的系统。
我们不仅定制模型，还定制推理过程，并且对训练和推理进行协同设计。其优势在于，在模型定制完成后，我们可以保证推理过程中的位等价性。
这一点非常重要。为什么？因为这是一个关乎未来走向的问题。例如，如果你正在解决一个需要100个步骤的任务，并且你的偏差为0.1%，这看起来很小，但100倍累积后，偏差可能会达到10%，这是完全无法接受的。
如果你今天开始创业，你认为最好的发展方向是什么？
8. Value Moves Beyond Models
我觉得现在有一种趋势：模型的能力开始趋于平缓，其结果是价值创造将转向应用程序和基础设施。当模型能力不再是你最强大的护城河时，你就必须在其他地方寻找护城河。
在应用方面，这可能与用户洞察有关；对于超大规模数据中心而言，成本是一个重要因素——能源消耗、芯片设计的优劣，以及硬件能够运行的推理能力。
归根结底，推理的真正目的在于加快模型运行速度并优化成本。如果你能构建一个智能体，它实际上可以极大地提高推理性能、可靠性和可扩展性。
它可以适应不同的硬件——无论是 NVIDIA GPU、AMD GPU、Google TPU 还是 AWS Trainium，型号是什么都无所谓，对吧？因为型号和硬件类型很多，N×M 是一个巨大的数字，对每个型号和硬件进行手动优化是非常不可扩展的。
但如今，开发者代理的基础设施处于一种非常有趣的状态，有点像疫情期间口罩的情况。需求的爆炸式增长导致整个市场的供应链受到挤压。
从软件协同设计的角度来看，如何从现有资源中榨取更大的效率？我认为，这是当今人工智能基础设施领域将会出现的一个机遇。
显然，第一点是后训练。后训练技术将会继续发展壮大，因为它能非常有效地提升现有人工智能模型的性能。
此外，目前市面上有很多极具竞争力的轻量级模型，其中很多来自中国，这也是推动市场增长的原因之一。我认为另一个发展方向是数据，特别是多模态数据。
第三个领域是机器人。机器人领域还处于起步阶段。每一层都在重新定价，新的机会层出不穷。
越来越多的中国人正在成为人工智能的创造者和建设者。创业本身其实是一项非常孤独的事业。
我们开玩笑说，作为创始人，有时你可以谈论好事，但坏事你只能自己去承受；独自承受仍然非常艰难。因此，我们需要一个大家互相帮助、互相验证的社区，大家可以互相支持、互相鼓励，说：“我也遇到过这个问题。”
通过互相支持，我们可以更有勇气和信心在这条路上走得更远、更好。这也是我创立华源的愿景：鼓励和支持每个人找到适合自己的道路，无论是创业，还是在大公司平台内发展，对吗？
我觉得两者都很棒。华源社区的意义就在于确保这个行业中的任何中国人都不必孤军奋战。
2026年9月下旬，人工智能的下一个篇章已经开启。