# 69.与田渊栋的访谈：大模型的真问题、变局、AI洪水与the path not taken 卫诗婕｜漫谈 Light the Star · 2026-04-06 · 88 min · https://www.xiaoyuzhoufm.com/episode/69d369aeb977fb2c4733d084?utm_source=rss ## 逐字稿 卫诗婕 为什么整个硅谷，或者说全世界大部分的研究员都开始做大语言模型呢？ 田渊栋 很多时候也是因为资源上很难调和。一个浪潮并不足以把我们送到 AGI。对，我并不觉得完全按照这个逻辑走，将来就会真正产生 AGI。 但现在这个模型的思路是这样：我其实是在给一个未知的外星智能喂数据和算力。它能做到什么程度我不知道，但它一定是很厉害的，我只要给它喂东西就行，不用去想它是怎么做的。 人和 AI 到底为什么能学懂东西？数据都是一样的，只是在这个关联过程中，突然出现了一些对关联本质的理解。 卫诗婕 你有一篇论文，名叫《The Past Not Taken》。科研品味究竟是什么？ 田渊栋 作为一个人，他必须要有一个自己能够 bet on 的东西。这个 bet on，其实应该说是构成一个价值所在。 卫诗婕 哈喽大家好，欢迎来到漫谈 Light Star，我是诗杰。这是一档追求深度、生动与信息质量的科技商业访谈节目。我们争取在每一个技术、商业、时代的关键变化节点，提供负责、可靠的一手信息。本期嘉宾是华人 AI 学者田渊栋。这个名字在社交网络上被广泛讨论始于四个月前，时任 Meta 研究总监的田渊栋通过社交网络宣布自己将被 Meta 裁员，华人顶尖 AI 科学家失业的新闻瞬时传遍网络。2026 年的第一天，田渊栋发布了一篇对于 2025 年的年度总结，再次引发全网热议。这篇通俗但深刻的 AI 总结令许多普通人也能从中获得对于 AI 焦虑的启发和注意。但有关田渊栋的思考和经历其实还有很多未尽的部分。他曾任职的 Meta FAIR 实验室是由图灵奖得主、深度学习三巨头之一的 Yann LeCun 一手创建的，那里曾是一个倡导自由学术氛围的创新引擎，但如何被激进的大模型竞速赛所改变？未来当 AI 需要进一步进展，又需要行业怎样的突破？这期访谈中我们聊到许多有关当下大模型技术的真相和真问题。除此之外，我还特别喜欢田老师对于学术品味的定义。在查阅他的论文时，我发现他的一些研究命名有来自于文学作品和诗歌的出处，他本人也是科幻小说的创作者，这反驳了人们对学术研究的刻板印象。从技术延伸，一位学者的世界观呼之欲出，让人能够感受到科技之美。总之，这是一期很有力量的播客，非常推荐。不过当天因为录制场地和录制时间都有限制，所以本期访谈的节奏依然很快，希望大家见谅，也欢迎前往微博等视频平台观看本期内容的视频版。欢迎田老师。 田渊栋 啊，大家好，我是田渊栋，我现在是在硅谷，非常有幸被邀请过来做一个有意思的访谈，我也挺期待的。 我们先从微博这边的问题开始。2026 年的第一天，我看到很多人在转你的 2025 年度总结。写这篇文章的时候，你在想些什么？ ### 年度总结意外出圈 田渊栋 这篇文章在写的时候，首先是抱着一个完成任务的态度，因为我每年都会写总结。其实写的时候也没有想到它会那么火，最终发出来之后，还有很多人愿意看，我觉得还挺开心的。 ### 裁员不必感到羞耻 卫诗婕 从 2023 年一直到现在，AI 跃进的这 3 年，其实是很多人被危机感和迷茫感笼罩的 3 年。全球所有人都会面临裁员的焦虑，而且我们看到，您是华人顶尖的 AI 学者，也面临着被 Meta 裁员的情况。要不要帮助大家摆脱一下“裁员羞耻”这件事情？ 田渊栋 其实我当时在美国的 X——美国版的微博，应该这么说——里面就说过这件事。裁员可能会让大家觉得：“我被裁了，我不太愿意跟别人说”，就觉得没有面子。 但对我来说，我可能是最不怕这个事儿的人。说出来以后，大家其实也会减少对这个问题的焦虑，会觉得：“这么厉害的人都被裁了，那我也无所谓，对吧？” 事后有一些同事在私信里感谢我。他们跟我说：“感谢你把这话说出来。”因为去年年初，我们其实已经裁过一波人。当时公司直接说，这次是因为 performance-based，也就是说，如果绩效不好就会被裁掉。 这种说法其实对员工不是特别好。因为对员工来说，如果背上“你是因为绩效不好所以被裁了”这个帽子，那接下来他怎么找工作，就是很大的问题。 卫诗婕 如果希望您给那些有裁员焦虑、恐惧和羞耻的普通人一些建议，您会给他们什么建议？ 田渊栋 这是很好的问题。我觉得，一个是做好准备。如果大家觉得一辈子待在公司里，其实这不是一个好的预期。 我觉得以后，特别是在 CS 这个方向，在写代码或者做软件工程师这个方向上，将来公司需要的人只会越来越少。以后 AI 非常厉害了，AI 代替越来越多的人，那我们大家怎么办？ 所以最终每个人还是要有一个准备：要知道自己如果离开公司，将来要做什么，有什么目标和想法，愿不愿意自己大胆去做。 如果有这个计划之后，其实并不怕被裁。因为被裁之后，可能就是公司帮你做了决定，让你向广阔的天地进发。 如果很天真地期望自己永远待在公司里、由公司保护，那这个愿望可能很难实现。以后可能会越来越严，压力会越来越大。 卫诗婕 之前在公司里工作，很有可能像一只笼中鸟。如果公司把你裁掉，其实你就有机会离开这个笼子，广阔天地任你飞。您是这个意思吧？ 田渊栋 对，其实是这样。因为你在公司待久了以后，可能认识的人和构成的关系都比较固定。如果你没有什么能动性，刚去公司的员工就听老板的，老板说什么你就做什么。 从根本上来说，你不用想这件事情做的目的和意义，只要满足指定要求，把事情做成，然后等着哪天升职加薪就行了，这就比较简单。 当然，等你升职上去之后，慢慢会想：“这个事情可能对整个部门有没有什么作用？对公司有什么作用？”可能会有一些想法，但最终这些想法其实也不太容易变成现实，还是要听直属上级的一些建议。大概是这样一个逻辑，其实没有太多空间可以给你发挥。 大公司有一个很大的问题是，一件事情我要做，第一件事是想：这件事情是不是合规？是不是可以保证自己没事？然后再去请示各个地方的人，看看这件事情可以做，那我们再去做。 很多时候如果这件事情没做成，第一反应可能是：“这件事情不是我的责任。”大概是这样一个思维方式。 如果一个人说：“我真的想把这一件事情从头到尾都做成”，这在小公司里面可能比较容易做到，但在大公司里就不太容易。大公司一旦要把一件事情做成，可能需要牵动很多方面的利益。 一个人的精力往往是有限的，很多时候会发现边界：这件事情要让谁去做？这个人有别的事情要做，没有时间；那个人说这件事情不行，因为我的老板不同意。 所以最终你可能会发现，自己被框在一个框架里面，只能做能做的事情。其他事情你也管不着、不愿意管，也没有时间管。最终可能就是，我的心气、我想做的事情，和我能做的事情之间脱钩了。 我有一个比较切身的体会。很早以前，比如 2016 年到 2018 年的时候，我想从头到尾做一个很大的系统，还是可以做到的。之前的围棋程序，实际很多时候就是我自己一个人搭建的，一个人 build。 但之后就发现，这件事情没有那么容易行得通了。 卫诗婕 所以正式从 Meta 离职之后，您有那种飞出笼中的感觉吗？ 田渊栋 应该说还行吧，至少会发现天地还是比较大的。 卫诗婕 从去年 10 月公布自己被 Meta 裁员的消息之后，这 3 个月里面都在忙些什么？ ### 离职之后开始创业 田渊栋 其实很忙，有很多事情要做。第一个事情，当然是把我手上的文章做完。后来这篇文章也中了，我觉得挺开心的。 很有意思的是，我一开始写的是 Meta affiliation，后来变成了 Meta affiliation 加上 Independent Research。后面的部分有些工作其实也是需要 GPU 的，但我知道家里有一台 4090，可以跑东西，而且跑得还挺多，最后凭着一台机器就把事情做完了。 另外就是各种各样的交流机会。一开始有很多公司来找我，也有一些比较有名的公司过来问我要不要去，有很多面试和聊天的机会。 最终我还是选择自己去创业了。我现在是一个公司的创始人，当然公司的名字我就不说了，我们现在还是保密状态。 成为创业者之后，整个思路是不一样的。想法有了之后，你得自己去做，做完之后发现有没有什么问题，然后去改进。 这种情况其实跟我以前单独做的一些文章很相似：这个想法、念头以及整个工作的完成，都由我一个人负责，整个过程应该说比较高效。同时，我必须保证这个想法和念头是正确的。 卫诗婕 每个人自己就是一个小闭环。 田渊栋 对对对。如果这种闭环存在，你其实很快就能拿到反馈，很快就知道自己的错误错在哪里，有什么地方有问题，应该怎么样改进。所以这个闭环其实是非常爽的。 卫诗婕 在这 3 个月的各种交流当中，对于中美现在 AI 发展的氛围，您有什么具体的感受吗？ ### 全球 AI 竞速加剧 田渊栋 共性大于个性，应该是这样。大家都比较焦虑，希望能够把事情做成，想知道最近 AI 发展到什么程度了，AI 能够给人带来什么，以及我们现在这个方向是不是存在被 AI 吃掉的风险。这些问题比较多。 大家都会希望找到 AI 的方向，比如什么才是下一个框架，什么是超过 Transformer 的方法，什么样的方式能够继续学习。像最近比较火的方向，比如 Continuous Learning，也就是连续学习；推理怎么能做得更有效率；什么才是下一个架构，什么样的架构更好。 最近也有人问，比如 Google 的 Nested Learning 这种新的框架有没有效果、有没有前途，大概是这样一些问题。 当然，这些比较偏模型端。应用端主要还是看什么样的应用模式最终能够赚钱，这可能是讨论得比较多的一个问题。 很多人会担心，今天我们辛苦把一个应用做出来之后，过了 2 个月，大模型的能力变强了，这部分应用是不是就被吃掉了。这些都是很难界定的问题。 我当然也有一些建议和想法。人的一些核心能力，是用很少的数据就能够找到内在规律和内在逻辑的能力，这部分现在还是很难被 AI 取代。 但是，一些比较外围的能力，比如调用工具的能力，以及怎么样快速在不同问题之间切换，这些能力其实比较容易被 AI 取代。 应该说，从去年 12 月到今年 1 月，仅仅 1 个月的时间，就发生了很多变化。最近比如 Clawdbot 特别火，这可能是大家一个很有意思的关注点：突然之间，AI Agent 变得那么厉害，能够自动调用电脑上的所有东西，能够帮你做很多操作，让它成为一个管家。 这是大家非常惊艳的能力。应该说，这种能力是 2 个月前可能还没有想象到的。 另外一个很大的变化就是 AI coding agent。Coding 的工具现在变得非常强，我自己也用了很多 AI coding tool。 因为我之前在 Meta 做总监，写代码的时间没那么多，大部分时间都是沟通交流。当然我自己也有一些单独做的工作，那是需要写代码的，但总的来说，我没有花太多时间写代码。 我离开 Meta 之后，自己有很多时间写代码，正好赶上了 Claude Code 和 Codex 这一波。现在我发现，我不用写代码了，又回到了以前作为一个管理者或者老师，指挥学生的那种感觉。 当然，它们有自己的特质。跟人相比，它们 24 小时都待命，但也会犯非常愚蠢的错误。有些错误是人肯定不会犯的，但是 AI 就会犯，所以要花时间仔细看，检查有没有问题。 但另一方面，它们非常勤奋。你可以让它挂机几个小时去做一件事情，它不会有怨言，只会把事情做好。 卫诗婕 您觉得 Coding Agent 飞速发展背后的技术进展是什么？基模还在快速进展吗？ 田渊栋 我觉得基模在快速进展当然是一个原因，另外应该说是数据。我们找到了怎么把数据放进去之后，让模型训练得更强的方法，这可能是最近比较重要的一个点。 它其实有一个拐点。一开始所有代码都是人写，AI 要去学习人的能力，刚开始不太能学会。但是随着 AI 越来越强，到了某个阶段之后，代码都是 AI 写的，而且 AI 写的代码也很好。 用 AI 写的代码可以生成新的数据，然后再去训练模型，所以这个过程在某个阶段会很快加速。 在这之前，代码的质量没有办法让 AI 来保证。人写代码的质量和速度又赶不上 AI 写代码，所以一开始数据积累非常慢。 但到了后面，突然有一段时间，AI 写的代码质量变得很好，你就可以大量生成样本，再把这些样本放回模型里面训练。这样的话，突然之间就会有一个起飞。 卫诗婕 所以它其实是一个数据的飞轮效应？ 田渊栋 对。一开始数据积累很慢，但是后来数据积累变快，模型就变得很好，然后数据积累会变得更快。 卫诗婕 现在特别被热议的一个话题就是，基模成长的速度到底有没有放缓？ ### Scaling Law难以直达AGI 田渊栋 这是个很好的问题。我总觉得，我们还是要找一些 scaling law 之外的东西。我不觉得纯粹按照 scaling law 来做，能够达到 AGI 的水平。 但是对特定的方向来说，比如 Coding Agent，存在一种可能性：你的模型越来越强，可以写代码之后，就可以把代码放回模型自己做训练。所以在这个特定领域上，是有可能做得很好的。 卫诗婕 我们一会儿再聊技术问题。我还是对您个人非常感兴趣，想先聊聊您的经历。您本科毕业于上海交通大学，在 CMU 读博，毕业之后先后加入了谷歌无人驾驶和 Facebook 的 AI 研究院，加起来有十几年。能不能先讲讲这几段经历，以及它们如何塑造了您的世界观？ ### 科研经历塑造研究者 田渊栋 这是个很有意思的问题。我觉得读博这段时间对我来说非常关键。 我当时从上海交通大学硕士毕业，去了美国。在那之前，我一直是一个非常内向的人，发言的时候会打结、会结巴。很多人会觉得：“这个人是书呆子，愿意抱着书啃，也不愿意跟别人交流。”大概是这样一个人。 但我觉得，读博这段时间对我个性的塑造和改变非常大。做科研有一个很大的要求，就是你要跟别人交流。你做出来的成果要向别人展示、推销，展示出来之后，别人会觉得这个东西很厉害，愿意跟随你。 这就逼着我一定要到讲台上去讲，跟别人讨论、聊天、交流。在欧美这套体系里面，销售能力是非常重要的。 对我来说，培养的过程是这样的：一开始我可能不愿意跟别人说话，愿意自己闷头做，这也没问题。但首先要把一件事情做好，比如做出一个自己能拿得出手，或者自己觉得很自豪的东西。 把这个东西做出来之后，再跟别人讲、跟别人销售：“你看，这个东西很厉害。”跟别人说的过程中，你就会慢慢锻炼表达能力，让别人很快了解这个想法，并且去欣赏它。 这个过程在读博的时候是一个正反馈。过了两三年之后，我慢慢变得比较自信，整个个性就打开了，成长的道路也慢慢变得更好。 卫诗婕 所以谷歌和 Meta 对您有没有影响？ 田渊栋 影响很多。Google 算是我的第一份工作，他们对代码的要求非常严格。 曾经有一个有趣的故事。我们吃饭的时候会有人讨论，代码注释之后应该有几个空格。有些人说要加一个空格，有些人说要加两个空格，大家会讨论代码的不同规范。 当时我会觉得：“这好无聊，为什么要讨论这些问题？”但作为一个比较严谨的程序员，统一规范确实可以让代码结构比较清楚、比较干净，也能够让代码有更好的可读性。 当时我也有点震撼。那时候还接触到很多软件工程中比较重要的想法和思路。 在 Google 里面有一个很有意思的招贴画。你每次进厕所的时候，都会发现一张招贴画，上面写的是：“debug sucks, testing works。” 它的意思是，你会碰到很多问题。如果一直去 debug、去抓虫子，会浪费很多时间。你必须写很多测试代码，预防这些事情发生。 这样就相当于把测试和调试的过程自动化，让软件架构里的问题更快地呈现出来，而不是花时间、花精力，用个人的时间去做。 这个时候我意识到，很多时候在一个很大的系统里面，个人能力是很渺小的。很多时候不是说我自己的能力非常强，能够把事情做成，而是要利用系统上的很多自然能力，让它自然地把事情做好。 所以很多时候也很有意思，很多问题和想法在学术界很难被想到。当时我也稍微震撼了一下。 我在知乎上有一些连载，其中有一篇是刚进谷歌无人车组时写的。当时我也挺兴奋，因为我被要求做一个东西，这个东西比较难，我当时想了很多算法上的改进。 但真正能够在商业系统里落地的系统，算法上的改进不一定很多，可能有很多系统上的改进，可以把问题绕过去。这件事也给我留下了很深的印象。 在这之前，我可能会觉得一件事情一定要通过复杂的算法和数学来完成。但后来你会发现，现实世界里有很多条路可以通向目的地，每条路的方法和思路都完全不一样。这其实打开了我的很多视野。 卫诗婕 因为您刚才讲了“debug sucks, testing works”和系统的力量，会不会让您意识到，自己也并不想只做一个研究人员？ 田渊栋 这是很好的问题。我肯定还会觉得有很多事情可以学习，当然也只是打开了一个口子，我还是觉得研究很有意思。 当时我为什么离开谷歌无人车组？其实也是因为还想做一些研究。特别是深度学习当时刚刚兴起，但那个时候我没有足够的资源：一是 GPU 不多，另外比较难的研究问题，一般谷歌内部可能会让级别比较高的人先做。 像我们这样的，就像小兵一样做一些比较简单的问题。这样的话，我觉得自己没有时间去锻炼在新范式上的经验了，所以我就离开了。 卫诗婕 所以您当时去 Facebook，就是因为对深度学习感兴趣？ 田渊栋 对，对。 卫诗婕 FAIR 是 Yann LeCun 一手创立的，您有接触过他吗？ 田渊栋 对，对，我跟他的关系也挺好的。之前有一段时间，大概是 2017 年，中美关系比较好的时候，Yann LeCun 还到交大来讲过。当时也是我介绍他来的。 卫诗婕 他是一个什么样的人？ 田渊栋 他是一个很强的研究者，有很强、很坚定的信念。他觉得一件事情一定能够做成，然后就花很多时间和力气去做。我很钦佩他当年的坚持。 其实我在 2010 年的时候见过他一次。那个时候深度学习还没有兴起，我还是学生。他当时也非常卖力地推广深度学习。 我记得有一次，他开了一个 workshop。一般来说，会议里面有很多这种小型 workshop，他开的那个 workshop 是讲神经网络的。那是一个很大的屋子，里面却没什么人，可能只有前两排有人，大概十几个人坐在那里。 当时我躲在最后面做自己的事情。屋子里基本没有其他人，前面两排只有零零散散几个人在听。Yann LeCun 就在讲台上，用自己的电脑亲自演示神经网络的效果。 当时我感觉他非常萧索。隔壁另外一个 workshop 讲的是特征工程和支持向量机，现场人山人海。 那个时候大家的逻辑是：我要做特征工程，然后在上面做线性分类器，质量是很好的。至于神经网络、深度学习，肯定做不出来，所以没人去管。 应该说，他坐了很多很多年的冷板凳，最后终于向世界证明他是成功的，是能够做出来的。我觉得他坚持到现在、获得这样的荣誉，也是毫不意外的。 卫诗婕 真正进入 FAIR 之后，您有接触过他吗？ 田渊栋 有接触过。之前有一段时间，应该说 Yann LeCun 是所有研究员的 manager，但后来他也不想当了。 因为他本身不太愿意做 manager，想自己做一些工作，也不想管人、不想给大家打绩效，这些事情都很麻烦。更多时候，他相当于一个精神领袖。 卫诗婕 他在 Meta 是技术上的精神领袖吗？ 田渊栋 对，可以这么说。有些想法是他倡导的，而且确实也是正确的。 比如他在那边倡导自监督学习这个方向。大概从 2017 年、2018 年开始，他觉得人工数据标注非常辛苦，标注本身也很贵，所以最好的办法是让数据自己学习自己，这就是自监督学习。 当时我们这边有很多方向，也有很多人在做这个，包括我自己。我也做过一些自监督学习的分析，这也是受了 Yann LeCun 的影响。 有些人做比较实际的工作，有些人偏理论。我这边做理论多一点，还跟 Yann LeCun 的一个博士后有过合作，做过自监督学习的分析，分析里面的特征为什么会塌缩。这篇文章后来影响也还挺大。 卫诗婕 这也是后来 Meta 在 LLM 领域能够占有一席之地的一个重要基础，对不对？ 田渊栋 自监督学习只是其中一个部分，还有很多不同的方向。比如 LLaMA 当时为什么能够出来，也是因为我们当时有一个组，之前做的是 theorem proving，也就是定理证明，后来临时换成了大语言模型的训练，最终成功了，所以才有了 LLaMA。 其实应该说，FAIR 有很多 bet，有很多方向。你会发现，有些尝试失败了，有些尝试成功了。只要有一个成功，对公司来说就是回本了，或者至少赚大了。 LLaMA 应该说就是 FAIR 的一个尝试，最终成功了，成为第一个比较有用的开源大语言模型，为公司赚取了很大的先机。 卫诗婕 这个故事其实和 OpenAI 的故事也很像。ChatGPT 一开始也并不是一个核心方向。 田渊栋 对。一开始有很多 bet，很多人、很多组在做不同的东西，后来发现这个东西很有前途。 其实说实在的，现在数学上的创新，很多时候都是试出来的，因为没有太好的理论指导。所以怎么办？只能去做一些实验，然后看哪些结果真的能够做大。 卫诗婕 所以 FAIR bet 的方向，是 Yann LeCun 定的吗？ 田渊栋 不是这样。FAIR 其实不是一个 top-down 的组织，不是自上而下的组织。很多时候是研究员们自己发现方向，它是一个自下而上的组织。 Yann LeCun 是精神领袖，他有一些想法和思路，愿意把它们说出来。很多人会觉得：“你说得有道理，那我们一起做。”当然也有人会觉得：“我不喜欢这个方向，我就想自己做。”这也可以，没有人强制你一定要做上面想让你做的事情。 卫诗婕 但 FAIR 是擅长营造这种自由的环境和氛围的，对吗？ ### 大模型吞噬研究资源 田渊栋 至少当时的 FAIR 是这样。当然现在这段时间，因为大语言模型来了之后，需要榨干所有资源去做这件事情。由于资源有限，就会导致很多问题。 卫诗婕 为什么整个硅谷，或者说全世界大部分的研究员，都开始做大语言模型了？ 田渊栋 很多时候也是因为资源上很难调和。如果你要做大语言模型，可能会把学校里面所有资源都拿走，就会形成竞争关系。 另外一个问题是，对大公司来说，如果真的想在大语言模型这个方向上占有一席之地，第一感觉就是要把公司里面所有或者大部分资源拿过来做一件大事。 这样其实也会榨干其他领域的资源，让原来比较多元化的学术氛围变得没有那么多元化。 卫诗婕 这个问题我也和谷歌的一位研究员聊过。他说，谷歌过去 2 年多举全公司之力去追赶 LLM，现在我们看到谷歌也取得了成果，但代价就是牺牲了原本非常多元的前沿探索方向。 这个事情在 Meta 也是一样的，对吧？ 田渊栋 其实是一样的，跟具体哪家公司没有什么区别。因为公司的资源永远是有限的，一旦出现这种情况，就一定会有人因为做主流方向而获得更多资源，也有人因为没有做主流方向，最后资源被榨干。 卫诗婕 我最近看到了一个采访，是 Yann LeCun 离开之后接受《Financial Times》的采访。他在提到 Alexander Wang 的时候说： “You don't tell researcher what to do.” “You certainly don't tell researcher like me what to do.”我不知道您怎么看他的这句话。对于研究员来说，很多方向是研究员自己找的，你没有办法通过命令的方式告诉研究员要做什么，这很难。因为如果通过这种方式，研究员本身就失去了自己的独立方向，也没有办法用全部的精力去做自己想做的事情，这样的话产出就会受限。 另外一个问题是，如果是自上而下的命令式方向，高层的理解不一定涉及细节，很多时候就是跟着大流走。大家都做一个方向的话，就会趋同地来做这件事情，导致很多空间被压缩。应该说，这不是 Meta 一家的问题，是所有公司都有这个问题。 我之前跟业内人士交流的时候听到一个说法，也想跟您求证一下：其实最高峰的时候，Meta 内部有 4 个团队同时在做 AI 研究，是这样吗？ 田渊栋 这个“4 个”要看是怎么算出来的。其实应该说远远不止 4 个，你很难去界定到底有多少个组。很多产品组内部也有团队在做一些关于 AI 的事情。 像我们之前有一篇文章做长文推理，也就是 Long Context。当时我们应该说是第一篇以很快的方式把 Long Context 的 Large Model 训练出来的文章。这篇文章当时就是产品组、广告组跟我这边合作的。应该说，大语言模型大家都能做，只要有卡、有资源都可以做。你真要算的话，可能远远不止 4 个。 卫诗婕 听您的意思，绝大部分资源都是放在大语言模型的预训练上，是这样吗？ 田渊栋 对，至少在推理模型出来之前，大部分资源是在预训练上的。但推理模型出来之后，现在开始慢慢有一个倾向，就是希望更多的资源放在 Post-Training，也就是后训练，放在中训练上面，看看有没有效果，大家也都在尝试。 卫诗婕 在这样的一个大方向和氛围当中，是不是像您原来说的，从无数角落里突然迸发的、自下而上涌现的创新，可能性会小一点？因为绝大部分资源都被大语言模型拿走了。 田渊栋 对，这个还是比较困难的。 关于杨立昆，我其实有一个特别深的记忆。2023 年中国大模型浪潮刚刚起来的时候，那年 5 月在北京举办的智源大会上，他是嘉宾。那个时候他一直在强调，觉得生成式模型很有可能是死胡同，要让 AI 像婴儿一样学习。 我不知道您怎么看他的这种观点，而且我觉得杨立昆在大语言模型的趋势当中，一直都是那个唱反调的角色。 卫诗婕 对，他肯定有自己的想法。其实我部分认同他的观点，就是说我们还是希望找到新的范式去训练大语言模型，去训练一个模型，让它能够更像人一样学习。 原先大语言模型现在主要的问题，一个是需要很多数据，需要很多资源去训练，整个路线跟人的成长过程产生了非常鲜明的对比。对人来说，你并不需要那么多数据，而人的大脑功率最多也就是 20 瓦，可能 20 到 30 瓦左右。人其实也不需要太多数据，就能得到很好的智能。 举个例子，我们也有女儿，我就发现小孩子长大的时候，数据真的少得很少，但很快就能学会很多东西。很多时候，在她没有学到某个阶段之前，你给她灌输很多数据，她根本就不会学。这个时候你没办法灌输她，给她灌输她只会背诵，不会真的理解是什么意思。突然之间，可能某一天或者几个星期之内，她突然就领悟了，懂了，懂了之后很快就学会了。 所以我觉得很神奇，人脑某种意义上可能是一套更好的学习系统，它里面的学习过程非常有效率，并不需要太多样本就能学会。这跟大语言模型现在的状态产生了比较鲜明的对比，每个脑子都比大语言模型厉害一点，但不知道现在怎么做出来的。这其实也佐证了杨立昆的一些想法。 当然，有些东西我也不是那么赞同。比如他说大语言模型没什么用处，只是鹦鹉学舌，这一点我没有那么赞同。我觉得大语言模型还是学到了不少东西，里面很多内容的表示并不是全都背出来的，很多东西其实触及了一些本质，或者说学出来的表示还是能够反映现实世界的。 所以它是学到了好东西，只是这个学习过程不是那么有效率，可能需要有一个更好的办法去学习。 明白。关于杨立昆和 Alexandr Wang 之间，还有一个特别有意思的话题。我们都知道杨立昆是“AI 教父”，但是 Alexandr Wang 是 1997 年出生的，呈现出一种特别年轻的形象。现在关于 AI 有非常多的讨论：这一波 AI 时代到底属于年轻人，还是前几个时代浪潮的老兵们也有特别不可忽视的力量？ 田渊栋 其实是很好的问题。我也不知道我算不算年轻人，您觉得呢？ 卫诗婕 我觉得其实应该还算吧。因为现在毕竟大家寿命比较长了，40 多岁应该还算年轻人。 田渊栋 我觉得年轻人一个比较好的地方是，他接触到的东西已经都是大语言模型的这些思考风格和逻辑，更容易融入大语言模型的思考方式，我觉得这是比较好的。 就像之前 Jason Wei，他是 Chain-of-Thought 的发明人。他当时也在推特上说过这句话：“我是 2020 年开始做自然语言处理的，这个时间非常好，因为我就不用学以前的所有东西。”这就是所谓的 AI 原生一代。 卫诗婕 对，就是确实也是这样。因为以前的东西学得越多，对自己的思维方式反向的影响就越大。 田渊栋 现在这种思维方式，我也不管里面的内容是什么、结果是什么，只要把东西塞进去进行训练，最终结果就会越来越好，是基于数据驱动、模型驱动的方式。 以前的范式可能是另外一套方案：比如脑袋里面有个模型，这个模型怎么样去拟合到数据上，然后希望拟合出来的模型结果跟我想象的是一致的。将来我要去教一个小孩子，希望把小孩子教会了，那我就成功了。 但现在这个模型的思路是这样：我其实是在给一个未知的外星智能喂数据、喂算力，它能做到什么程度我不知道，但是它一定很厉害，我只要给它喂东西就行，不用去想它是怎么做的。它是这样的逻辑。 因为逻辑不一样，所以年轻人更能够接受这个新的逻辑，很多事情也做得更好。但是另外一方面，我并不觉得完全按照这个逻辑走下去，将来就会真正产生 AGI。 为什么老年人，或者说更加资深的人过来之后还有用处？一个是历史还是有轮回的。很多时候，你有一种思维方式，这种思维方式可能在某一段时间内非常有效，但这段时间走完之后，你就很难再用这套思维方式把事情继续推上去。这个时候你就要看，有没有其他思维方式可以借鉴。 如果是一个老兵，他见过很多思维方式的变迁，对思维方式的转换有更深的理解和感觉，所以能够很快转换过来。但是很多年轻人不一定会有这个想法，他可能会觉得：“我们就用 scaling，scaling 就是一切了。我往里面塞数据、加算力，总是能做出来。” 这当然是可以的，只是说如果你接下来要实现下一个突破，说不定还要切换思维方式。一个浪潮并不足以把我们送到 AGI，可能需要很多个浪潮。所以最终如何在不同浪潮之间跃迁，这种能力才是最重要的。 对，应该说，知道某种范式和某种思维方式在什么时候有效，什么时候得切换到另外一边去，这可能是一个比较重要的逻辑。 卫诗婕 从您个人的视角，会如何还原 Meta 全力追赶大语言模型的这个过程？最近这 3 年到底经历了什么？ ### Llama 4败在组织压力 田渊栋 应该说是一个比较好的开局吧。Llama 还是一个比较好的模型，因为那个时候没有一家公司能够拿出一个很好的开源模型。那个时候 Llama 跟 GPT-4 之间的差距很大很大，但是至少 Llama 是第一个开源的，而且是质量还不错的模型。当时学术界非常拥抱它。 后面的 Llama 2、Llama 3 其实也都做得还不错，但是 Llama 4 的问题主要还是因为有很多人和资源堆上去之后，大家有点急，比较急于追赶 DeepSeek，或者说其他的一些推理模型，所以导致了一些问题。好好做还是很有希望的，只是领导层可能还是比较急，采取了比较激进的策略。 卫诗婕 所以 Llama 3 曾经领先全球，那是 2024 年 4 月的事情。但是到了 Llama 4，也就是 2025 年 4 月，很明显能够感受到 Llama 4 在基础模型上掉下牌桌，也落入了一个颓势。您觉得是因为公司比较急吗？ 田渊栋 对，公司比较急。 卫诗婕 快曾经是 Facebook 的制胜关键，这是一个双面的事情。 田渊栋 这要看怎么个快法。简单的问题可以快，比如说你要很快把一个网站做出来。但是做模型的时候，一方面是要快，另一方面还是希望技术人员多发声，多有一些话语权，这个比较重要。 如果快就是作为一个大团队，大老板说“我得快”，下面的人不能说反对意见，如果是这样的话，就很难快起来。因为大家会觉得：“我要把这个 deadline 赶完，但是我又发现了很多问题，那我的决定是什么？我是跟大家说这个 deadline 赶不完了，我们希望拖后几天，还是干脆糊弄糊弄了事？” 你怎么选择？大家肯定会想半天这个问题，但是想多了会觉得：“所有人都会觉得我已经很累、很辛苦了，我就把这个事情干脆做完算了。”所以这样的话就会有问题。 卫诗婕 那为什么从 Llama 3 到 Llama 4 突然之间就更着急了？和 DeepSeek 有关系吗？ 田渊栋 一个是压力越来越大了，确实竞争越来越激烈，也有很多竞争让 Llama 这个团队相对来说比较急，另外上面也有压力。 卫诗婕 您曾经是被拉去救火 Llama 4 的。您说这段经验对您的研究思路也带来了不小的转变，能不能讲讲是什么转变？ 田渊栋 我之前应该说是做前沿研究的，并不是直接参与大语言模型产品线的贡献。但是进入 Llama 4 之后，你会感觉到，进入产品线之后，整个组织形式和以前的 FAIR 组织形式完全不一样。 产品线的组织形式是这样：有很多小团队，每个小团队说“我只负责一小块”。比如搞数据，我就负责把数据生成好；有几个人专门负责训练大模型，每天要负责所有参数都正确，出了问题必须马上半夜三更起来把问题修好，大概是这样的逻辑。 这里面其实并没有太多研究，比较多的是例行操作和处理。 卫诗婕 所以对您研究思路的转变是？ 田渊栋 研究思路的转变是这样：你会发现很多事情其实没有必要想太多。有些问题可能非常难，比如对于更大模型上的训练来说，或者对强化学习来说，最重要的是稳定，保证它能训练很长时间。一些比较花式的方法，在大模型上效果不会特别好，因为它需要很复杂的调参，而这种复杂调参在大模型上，一方面没有时间和精力去调，另一方面，在大模型上如果数据足够多、batch size 足够大，可能很多东西都被抹平了，不需要太多复杂的小技巧。 这其实是一个问题。像强化学习之前也有一个方向比较火，大家特别喜欢换各种目标函数。每个目标函数换一下之后，讲一大堆定理证明，最后结果提高 1、2 个点，大概是这样的一些文章。 但是，这样一些框架真的去做大规模实验和训练时，会有一些问题。比如模型太复杂，或者目标函数太复杂，导致训练时会碰到很多问题：内存不够了，或者需要很多模型的拷贝，或者训练时可能有各种不稳定因素。这些东西其实会限制你在目标函数上的想象力。 另外一方面，模型大了之后可能会出现新的现象。你怎么样去分析这些新现象？很多时候，用来分析这些新现象的工具非常简单，简单到比如我的目的就是让梯度比较稳定，那我不需要有什么其他高级的想法，只要把梯度做稳定了，系统就做得很好。 所以着眼点、思路和逻辑，跟以前的方式不太一样。 卫诗婕 Llama 3 的团队相比 Llama 4 的团队有扩充吗？扩充了多少？ 田渊栋 扩充了很多，应该是几倍的扩充。从几十人到 200 多人、300 多人的样子，甚至更大。 卫诗婕 而且几百人的组织下面，是有一个很强的、最上层的、非常着急的意志去推动的，是吗？ 对。因为我过去这 3 年一直都在跟 AI 从业者聊天，我发现一个很有意思的现象。前段时间有人告诉我，当下这种大模型的比拼，在 benchmark 上其实有各种各样的方式，能够使我们在 benchmark 测试上做得最好。而很多由上至下的意志，最终看的是模型在各种 benchmark 上测试的汇报，这就很有可能会偏离本质，是这样吗？ 田渊栋 是的，这其实就是 Meta 的问题。我去了之后发现，我上面有好多层 VP，最后才能找到他的主管。 组织架构上的问题会导致这个问题：每一层往上汇报，汇报出来的东西都会相对来说把好话说得更好听一点，把不好的事情不说。人都会有这个想法。一两层倒还行，但是如果很多层一层一层往上传，最上面那层人可能就只听到好话，听不到坏话，一定会这样。 这样的话，就会让整个团队的核心人员或者领导过高估计整个项目的进度。这种过高估计会持续一阵子，持续到某一天模型真的放出去之后发现问题，整个逻辑就被推翻了。 卫诗婕 这件事情要怎么杜绝发生呢？ 田渊栋 一个是整个团队不要太多。几百人、上千人的团队，应该说很难杜绝这个问题。 另外，整个团队应该是技术驱动的，大家都讲技术，不要讲 deadline，不要讲“我要把这个数字提上去”。大家都很细致地把问题挖出来，然后去找解决方案，这样相互之间才能产生理解。 其实之前我也看到过其他报道，有些大厂就是只看数字。一般只看数字的大厂，做出来的模型都不行，因为下面的人一定会往数据集里面塞东西，让这个模型看起来很不错，但是真的用起来就不好使。 大模型有一些很有意思的现象：模型一旦训练完之后，它是背出来的，不是真正理解了。如果要让这个模型真正拓展到其他领域，让它有泛化能力，就非常非常辛苦。你肯定要一个 case 一个 case 去修。 这样一方面拖慢团队进度，另一方面你会发现，花再多的人进去都是不够的。因为模型没有真正理解问题，你花很多钱和精力去标数据，标完数据之后模型还是很笨。 就像你教一个很笨的孩子，怎么教都教不会。你花很多钱、很多时间，搞各种补习班，他的水平就是上不去。但一个聪明的孩子就能举一反三，很快学会很多以前没见过的东西。这就是差生跟优秀学生的区别。 卫诗婕 所以你的目的不是教一个差生出来，而是教一个优等生出来。教优等生不能只着眼于答案的正确性，必须把思考逻辑、让它对这个世界的理解变得更深，这样才能把模型训练好。 刚才我们讲的这些有点接近本质的真相，会影响您吗？因为我相信很多大厂都找您接触过，最终您没有选择去别的优秀大厂，而选择自己创业，是这个原因吗？ 田渊栋 对，这应该说是很大一部分原因。你会发现大厂里面有很多问题。我之前也收到过一些 offer，比如 Amazon、Apple、xAI，其实当时我都有。 比如 Amazon 给我 offer 的时候，有一个 VP 跑过来跟我说：“你来吧，我们这边很好。”但是过了两个月，这个 VP 被 let go 了，就离开了。Apple 也是一样，Apple 也有 VP 跟我聊，然后过一段时间这个 VP 也走了。 你会发现，很多时候大厂的 VP 跟你说的话不一定是真的。很多时候他们为了招人，会给你画一个大饼，希望你能过来，但这个大饼对他来说可能也是一个临时的大饼。过一段时间，他会发现各种事情发生变化，比如上面的风向变了，或者想法变了，那这个大饼可能就必须得缩小。 对大厂来说，很多事情不是你能控制的。就算是副总裁、VP 级别，他的控制权也不是很大，因为他的压力很大。 这不像以前。以前可能我要坐在一个大厂的 VP 位置上，有很多很多人给你干活，另外你可能会有很多时间，比如有 3 年的时间做一个东西，也有资源给你。但是现在很多公司其实也在转型期间，所以有很多压力，外面的整个变化也非常快。 比如 AI coding，可能去年 10 月、11 月的时候还没有那么强，到去年 12 月和新年开始就变得非常强。然后突然之间发现，代码写作的方式跟以前不一样了。 这种变化非常快。你怎么让一个大公司以很快的速度去驾驭或者适应这个变化，就非常非常难。这势必会导致各种各样的 drama 和变动。 特别是对一个大厂来说，一般 CEO 或者高层人员会看外面的一些情况。他会看到：“这个新闻，哇，这么厉害。”现在 AI 每个星期、甚至每天都有大新闻，每天都要用“震惊体”说我们又取得了巨大进步。这种冲击对所有人都是很大的变化。 对技术人员来说，他们还是有一定判断能力的。我知道这件事情是扯淡的，只是新闻媒体宣传；有些事情我会觉得：“这个事情很有意思，我应该去看一看。”所以技术人员还是有鉴别能力的。 但是如果是一个没有技术背景的高管，他去看这些新闻的时候，可能会被新闻拖着走。他会发现：“这个很厉害，那个也很厉害，我是不是想让下面的人帮我做这件事？” 这样就会导致目标发生巨大变化：今天我想做这个，明天又想做那个，会有很多 back and forth。对大厂来说，下面的团队就比较难受。这个项目做了 3 个星期，不行，要换；再做 3 个星期，不行，又要换。 所以会有这样的问题，很难有一个比较稳定的地方把事情做成。 卫诗婕 所以过去 3 年，它改变了大厂的节奏，也改变了研究，是不是？ 田渊栋 对，应该说有很大的变化。当然以后可能还会变化得越来越大。 卫诗婕 您怎么看 Google？ 田渊栋 我觉得 Google 还是一个非常厉害的地方。它不是被誉为管理学奇迹吗？那么大一个公司，能够很快把模型做出来，而且取得很大进展。 他们的 founder 愿意离开自己的舒适区，真正跟大家坐在一起，直接探讨技术问题，直接写代码，直接研究问题，我觉得这很重要，给大家形成了比较好的风气。 卫诗婕 我想跟您聊一下您的研究方向演化。我觉得从 OpenGo、GaLore、StreamingLLM 到 Coconut，某种程度上也是大模型行业进展的一个缩影。 从最早 2021 年之前，您还在做教 AI 下棋这样的研究，到后来教 AI 思考，再到探索 AI 的大脑回路，它是一个逐渐走深的过程。我不知道我的概括对不对，您能不能给我们介绍一下每一阶段的代表作，以及它和大模型进展的整个时代之间的联系？ ### 研究从围棋走向顿悟 田渊栋 其实你刚刚说的是对的。一开始我比较偏应用，比如围棋，做一些大规模的强化学习训练。很多时候我花很多时间写代码。大概在 2015 年加入 Facebook、加入 FAIR 之后，到 2018 年那段时间，基本上都是我自己写代码，做一些有意思的实验。 但是做多了之后，你可能会觉得，我还是希望找到一些更深的东西。所以在神经网络理解这个话题上，我其实有很大的 passion，一直在思考这个问题。 2018 年 OpenGo 做完之后，我花了很多时间去做神经网络的一些解释和分析、理论分析。这条方向应该说比较难，一开始并没有太好的进展。但是同时，我也在做一些强化学习的应用，包括怎么把强化学习用在比较难的优化问题上，怎么把强化学习用在比较难的设计问题上。 当时我们做了不少文章，结合一些具体问题，比如黑盒优化、神经网络架构搜索，做一些探索。 至于对神经网络本身的理解，应该说在 2020 年到 2021 年开始慢慢起来了。这是一个比较长期的 bet，肯定要投入 5 年甚至 10 年的时间，慢慢有一些心得和想法，然后慢慢有一些结果出来。 2020 年我们有一些自监督学习的工作。2021 年，我有一篇文章做非对比学习的分析，这篇文章拿了 ICML Best Paper Honorable Mention。我对这个问题本身的理解，可能也更加深入了一点。 后来到 2022 年，我们做了一些怎么样把深度学习和优化结合起来的工作，让传统的优化方法能够运用在一些非线性的目标函数里面。 本来这个方向可以一直继续下去，但是后来大模型来了。于是 2023 年开始，我们做了一些大模型的推理。因为一开始预训练肯定做不动，预训练需要很多资源，你没有那么多资源，所以一开始肯定先做推理优化这一块。 我们做了一些工作，包括刚才说的 StreamingLLM。当时我其实对 Transformer 的 attention 机制特别有兴趣，做了一些分析文章。这些文章其实也是和我一起做的，同时我也指导一些实习生。 当时我们找到了一个方法，可以让大语言模型推理时的上下文长度变得无限长。这篇文章后来影响力很大，很多人都在用。比如最近的 GPT-OSS，它们开源的时候就用到了这个方法来稳定训练。 另外一方面，怎么样让大语言模型有长文分析能力，这个方法也是我们比较早提出来的，这篇文章影响力当然也比较大。 GaLore 也是一样，我们研究怎么样在训练时提高内存效率，怎么样做到单卡训练 7B 的模型。当时也引起了挺大的轰动，大家发现原来可以这么做，有很多 trick 可以降低内存占用。 到了 2023 年、2024 年，因为我之前也是做强化学习的，大家发现用强化学习来做大模型推理非常有效果，所以那个时候我们转向了 reasoning。 当时我们有一些文章，发现了怎么样让 scaling law 变得更加有效率。就是说，如果我们没有在答案和问题中间插入很长的思维链，推理效率是很低的；但是如果把中间的思维过程放进去，这个思维过程就可以极大减少所需要的训练数据，同时推理效果更好。 当时我们就发现了这个现象。所以如果没有 o1 的话，我们阿里云 AI 继续做下去，也能看到推理模型的一个征兆。 后来我们又做了 hybrid thinking，也就是混合思考的模式，叫 Dualformer。这篇文章应该说比主流模型早一年提出了快慢思考的模式：可以让它想很少，然后得到答案；也可以让它想很多，再得到答案，两边的效果都还挺好。我们发现通过混合训练，效果会更好一点。 这篇文章是在 2024 年出来的。到了 2025 年，你会发现所有文章、所有模型都会采取这种混合推理的方式去做推理模型。 另外，2024 年年底我们有一篇工作是做隐空间推理，叫 Latent Space Reasoning。这篇文章当时也是我的一个 intern 做的。 当时我们就在想，推理过程可能使用了太多 token，能不能把它压缩一下，能不能找到一些新的空间。因为之前我跟组员聊天时就说，我觉得语言只是为了解释我的推理过程，而不是推理过程的一部分。用语言来做推理本身可能不是正确路径，可能需要有更好的方法。 后来我们就做出了这篇文章：是不是可以用隐空间里的连续向量来做推理？发现确实可以做。这里面的隐空间结构有点像量子叠加态，像量子力学里一些有意思的结构。 这篇文章发表之后，在 2025 年被很多人拿出来作为开山之作。现在还有很多人在做这个工作，大家还是很愿意去探索一些新的、没有见过的东西。大概就是这样一条路径。 到了 2025 年，大家都知道了，我被拉到 Llama 去干活。干完之后，我们这边又出了一篇文章，主要是做“顿悟”的。对于神经网络是怎么学习的，我一直很有兴趣，后来发现还是可以分析出来。 更有意思的是，这篇文章本身是跟 ChatGPT-5 合作的。如果我自己一个人做，可能要花半年的时间，因为很多细节都要一点点找到。但是有了 ChatGPT-5 之后，我可以花一个月时间把这篇文章做出来。 应该说，将来的研究会有很大的变化。 卫诗婕 所以我们会迎来研究加速时代吗？ 田渊栋 对，我觉得应该是。有好想法、具有非常强洞察力的人，可能会获得极大的加速。 卫诗婕 前段时间我做过一个选题：Google 的 Agent 和数学家陶哲轩合作，破解了一个尘封几十年的难题——Erdős 问题 1024。 这个新闻给我一个非常大的感受：某种角度来看，我们可能已经到达 ASI 了，因为 AI 加人的总和所产出的结果，已经大于人类历史的智力总和，至少在某一个细分维度上。 田渊栋 对，你可以这么想吧。但是确实有一个叫 Moltbook 的平台，我也上去看过。我觉得应该说还没到那个 level。 大部分帖子都在说：假设这些 Agent 有自己的内心和意识，它们会怎么说话？它们还是在模拟人的吐槽方式，相互之间吐槽自己的主人。这些东西是不是真正的智能，其实很难讲。 我觉得真正的智能，还是要看 AI 能不能最终发现人类发现不了的一些新规律、新事实、新逻辑。这可能是一个标准。 卫诗婕 现在只是 AI 帮助人发现了一些新事物。 田渊栋 对，但是以后也许 AI 会自己发现。那这个时候你得承认，AI 具有非常强的推演能力，能够超过人的能力。这个时候可能就是另外一个 level 了，但现在还没到这个水平。 卫诗婕 从这个角度来讲，我没有找回一些信心。因为至少现在的世界，还是绝对以人为核心运转的，是以人的核心洞察力来运转的。 我想追问几个关于技术的细节问题。2023 年大模型浪潮来了之后，您就开始做一些提升效率的训练。关于大模型如何提升效率这件事情，您的研究带来了怎样新的思考？这个问题在当下、在未来几年内，我觉得都非常关键。 田渊栋 对。当时主要是看 self-attention，它的 pattern 是什么样的。当时的卡也不够快，自注意力机制需要算很久，特别是对于很长的 context 来说，需要算很久，因为它是平方级运算，跟输入的 context length，也就是长度，成平方关系。 所以很多时候我们就在想，能不能把平方关系降成线性关系。于是就出现了很多文章，比如之前的 Mamba，或者最近的 DeltaNet，都是在研究怎么样减少计算代价。 我们当时的想法是，能不能通过 sparse 的方式减少计算代价。过去的某些 token 其实不用算，我们只算一些关键 token，把它们放进去，然后用它来做 self-attention。这样的话，时间复杂度就会降下来。 StreamingLLM 就是这样：我保留前面几个 token，再保留最近的 token，中间那些东西全部扔掉，但是模型还是能够给出比较好的答案。 在这篇文章之后，我们还有一篇文章叫 H2O，就是水的化学分子式。方法很简单：在 StreamingLLM 的基础上，中间那些东西全部扔掉，再放一些关键 token 回去。这样能够提高最后检索出来的结果，同时不会增加太多计算复杂度，通过这种方式来提高效率。 之后 Google 的 speculative decoding，也就是投机采样出来了，我们也用这个方式来提高速度。之前有一篇叫 TriForce，我们就用之前那些方法来做投机采样。以前这个方法可能效果不是特别好，但是至少快，既然快就可以做。 它采用了 draft model，用它来加快产生 token 的速度，这也是一个办法。所以基本上很多时候，我们是在 self-attention 机制上做更好的研究。 另外一条路是，能不能在 self-attention 之外做一些其他事情？因为对 Transformer 来说有两部分：一部分是 self-attention，也就是自注意力机制；另外一部分是 FFN，也就是前馈网络。这个方面有没有办法做得更快一点？ 其实这方面有很多路线可以走。最简单的，我们最早有一篇文章叫 Deja Vu。我们发现神经网络在前向推理时，有很多神经网络节点其实是 0，也就是没有被激活。 激活节点的数目和 pattern 是非常 sparse 的。每次沿着前向路径走过去，只有很少的节点被激活。如果能提前预测这些激活的节点，就可以减少内存载入时间，因为大部分内存对应的节点并没有被激活，这些内存就不用载入了。 这篇文章效果也不错，应该算是一个穷人版的 Mixture of Experts。专家系统就是把模型分成几个部分，每一部分是一个小的 expert，最后用 Mixture of Experts 的方式来降低时间。所以这篇文章其实像是一个穷人版的 Mixture of Experts。 最近我们有一篇文章叫 STEM，研究的是能不能把 FFN 这一层换成更加有效率的层次。比如把中间的某个权重换成查表的形式。查表形式比较好的地方是，输入 token 的 ID 之后，可以直接用 token 的 ID 查表得到 entry。这个 entry 只要放在神经网络里面，表可以很大，但是每次载入内存非常少，既能省内存，也不影响速度，同时还有一些可解释性。 各种方式都是在研究怎么样提高 efficiency。STEM 这篇文章的思路，跟最近 DeepSeek 的 Engram 其实有很接近的地方。今年可能会在这个方向上出现更多文章，已经看到一些了，比如做 Lookup Table。这种趋势也是比较正确的。 卫诗婕 您刚才讲长上下文，让模型能够吸收更多信息，算是在解决 AI 遗忘的问题吗？ 田渊栋 遗忘是另外一个问题。最近我们其实也有一篇文章在做这个。 遗忘有两种类型。一种是模型固定的情况下，你把一篇很长的文档塞进去，当然希望文档里的东西都能被它看见，但另一方面又希望推理速度足够快，这里面是矛盾的，有一个比较大的 trade-off。 你要用 full attention，还是加一些线性注意力，或者把两边组合起来，让效率比较好，又不遗忘，速度又快。我们之前做的那些 sparse attention 文章，其实是在这个方向上的早期探索。 如果把 sparse attention 中很多不太重要的 memory 丢掉，是不是能够提高效率？ 人会遗忘，但是对于一些重要信息，在必要的时候能够获取，很快地把这段记忆找回来。人可以遗忘，但是可以找回这段记忆。 卫诗婕 对，但是现在 AI 还没有这个能力，忘了就是忘了，没有什么办法把它找回来。 田渊栋 但是 Agent system 可能可以。最近 MIT 有一篇文章叫 Recursive Language Models，它把长上下文作为一个 Agent input，可以有选择性地挑一些可能重要的部分，放到 Agent 的 memory 里面去，然后做这件事情。这可能是一个方案。 另一方面，你说的是 Catastrophic Forgetting。这个问题是说，模型的权重经过一些优化之后，可能会灾难性地遗忘以前学到的知识，这涉及模型的训练过程。 过去几篇文章已经慢慢把模型训练过程一点点理清楚。模型在自己生成的数据上训练，叫 on-policy，这样的话遗忘的速度会变慢。但是如果强迫模型去学一些它自己都没见过的数据，模型会很快遗忘。 其实一句话就是说，你不能给孩子填鸭式教学，得让他自己探索，然后在自己探索的路径里面进行学习。所以这是两个不一样的东西，只是都用了“遗忘”这个词。 卫诗婕 后者可能更像是根本就没有吸收。你可以说它是遗忘，但它可能从来就没懂过。 田渊栋 对，后者更多是说，你强制性地灌输一些数据进去之后，模型内部的结构发生了破坏，最终变成了一个完全记住的过程，而不是得到更加理解式的记忆。 卫诗婕 几年前您其实就开始花很多精力研究为什么 AI 能学懂东西。这个问题我也很好奇，为什么 AI 能够学懂东西？ 田渊栋 我一直有这种感觉：人和 AI 最终学到的东西可能是一样的，只是训练算法，或者说训练算法的效率不一样。 人可能有很好的训练算法，很快能够找到问题的本质，但是 AI 的训练算法没有那么有效率，所以最后的结果就是，AI 花很多很多力气、代价和时间，还有很多卡和数据，才能学到跟人差不多的表示。 但是这个学习过程是客观存在的，所以 AI 还是有一些比较好的泛化能力。你可以把人的大脑神经网络表示抽出来，再把 AI 的神经网络表示抽出来，会发现它们之间是有相关性的，而且是比较大的相关性。 顿悟，或者说为什么能学得那么深，很多时候可能是一个压缩过程。你最终会发现有一个表示，或者对这个世界有一个理解，而这个理解能够很好地解释很多东西。这也是一个真正理解的定义。 一旦有了这个定义，你可以认为 AI，或者说训练算法本身，也在往这个定义的方向走，那么它就有一定概率能够学到东西。 卫诗婕 所以人和 AI 到底为什么能学懂东西？它最本质是靠什么？ 田渊栋 它最本质还是靠数据本身的结构。因为数据本身是有结构的，所以这个结构能够被搜索到。 如果数据本身没有结构，都是一些乱七八糟的东西，那两边唯一的选择就是全背出来。但如果数据本身有结构，存在一个算法、存在一种方式能够找到这个结构，那么这个结构一旦被它抓住之后，就能够泛化到其他方向上，这就叫理解。 卫诗婕 很有意思。我突然意识到，其实我们很多认知的跃迁，在于我们可能在网络上或者现实物理世界中找到了各种各样的信息，并且探索到了它的结构，也就是这些信息跟信息之间的关联性。 田渊栋 是的，这个是一样的。数据都是一样的，只是在关联过程中，突然出现了对关联本质的理解，出现了关于关联本质的一个新的结构。 这个结构能够解释之前关联的所有过去的历史，这个时候人就会觉得这是一个好的理解。 卫诗婕 您的研究当中是不是会涉及神经符号推理？ 田渊栋 对，我的研究里面很大一部分，其实是神经表示和符号表示怎么样结合起来。 卫诗婕 我试图用一个比喻，不知道对不对：讲神经网络的时候，很多时候强调的是一种直觉或者推测；在符号逻辑下面，可能更多的是讲求严谨和推导。这两种结合，就是一种直觉和一种计算。 田渊栋 不完全是这样。符号更多是遵从人类一些比较严格的结构去做推理。它的好处是有很多现成的推理框架可以用。比如一加二等于三，你不需要用 AI 来做，按计算器就可以按出来。这应该说是符号定义。 神经的定义更像你所说的直觉，更像是不经过正常逻辑，直接得到一个答案的东西。这两部分其实是互补的：直觉本身可以用神经来解决，一些比较复杂的推理可以用符号来解决。 2017 年到 2020 年这段时间，有很多结合的文章。以前有一篇文章非常有名，叫《Neural Turing Machines》，也就是《神经图灵机》，希望用神经的方式去做以前符号系统的一些任务。 2016 年、2017 年那段时间，这类研究非常火爆。当时一个是围棋非常火，用 AI 做搜索问题也非常火。像围棋本身，其实就是神经和符号推理结合的一个关键例子。 比如把所有的直觉都拿来用 AI 建模，包括棋感，或者第一手要怎么下这种直觉，用 AI 来做；具体的严格搜索过程，就让符号来做，这是一个很典型的例子。 但后来大家越来越发现，这种结合不如让神经直接做。因为纯神经系统完全可以在数据上使劲训练，数据越多，能力越强。 符号推理不是这样。符号推理很多时候受限于人们在这上面花的时间。比如你要把符号做得很好，就得花很多时间和代价写代码，处理各种各样的情况，而这个效率远远低于直接把数据塞进去，让神经网络自己去找。 所以神经符号推理系统比不过纯神经系统，原因应该就是这个。之前火过一阵之后，大家发现其实没有什么特别有意思的结果，所以现在都往大语言模型走了，因为大语言模型其实是典型的纯神经系统。 但是我觉得以后应该会有一个更大的趋势：在神经系统里面发现符号结构，应该是这样的一个逻辑。这应该说是我最近的一些研究工作。 比如特征涌现，在涌现过程中，你会发现涌现出来的结果其实是符号的。有些特殊问题在神经网络训练完成之后，里面的结构其实是符号结构，而不是神经的杂乱结构。它是有序的，这个序本身可以用符号来解释，这是一个很有意思的现象。 也许将来会发现，所谓神经表示和人类的符号表示是一致的，只是神经表示里面有一些符号表示，是现在的符号系统没法解释的。但是可以把符号系统扩充，最终就能够解释它。 想想这很有道理，因为所有符号都是人类想出来的，而人类本来就是一个神经系统，对不对？ 卫诗婕 以后也会有 AI 定义的符号。过去都是人类定义的符号。 田渊栋 对，可能会有这样的情况发生。也许所谓的神经表示是一个更高阶的符号表示，这个符号表示能够进行自我学习、自我迭代，同时能够兼容以前的符号系统。 这是一种可能性。这样的话，我们所谓神经符号结合的系统其实就不存在了。 卫诗婕 据说现在硅谷大街小巷都在谈论自主学习，但是大家的定义似乎又不太一样。自主学习跟强化学习的本质不同是什么？以及您对它的定义是什么？ 田渊栋 首先我想知道，这个“自主学习”的英文是什么？ 卫诗婕 Self-learning。 田渊栋 Self-learning。你说的是 Agent 在自己的环境中自己找到新的信息去学习？那这个有点像强化学习。 跟强化学习不一样的地方，可能是 Self-learning 过程中，Reward Function 跟以前不一样。以前强化学习是人工定义 reward 的方式，告诉它“你把石榴的果子摘下来就赢了”，或者说“你要战胜对方”。 但是如果说 Self-learning，可能是让模型自己定目标，目标定完之后自己去找。 说实话，这个概念以前也出现过。很早以前，2017 年、2018 年、2019 年强化学习比较火的时候，就出现过，只是它局限于一个比较具体的目标。 比如之前我看到过一个叫 HER 的方法，也就是 Hindsight Experience Replay。它在进行 replay 的时候，每次模型触及一个从来没有见过的新位置，或者新的状态，就把这个状态作为一个目标，一点点扩充学习边界，最终这个边界有一天会触碰到真正想学的目标，大概是这样的一篇文章。 这个文章当时也挺火，很多人想做这个东西。历史会有轮回，每隔一段时间就会有一些新的想法出来。想法可能跟以前有相似的地方，但是现在使用的工具不一样了。我们现在用的是大模型，大语言模型可能会有更好的结果。 卫诗婕 您之前说过，在 FAIR 最大的收获是收获了很多 research taste，也就是科研品味。我也发现，您的一些论文命名很诗意。比如有一篇论文叫《The Path Not Taken》，应该是用了诗人 Robert Frost 的《The Road Not Taken》的一个变化版。 能不能形容一下，这个科研品味究竟是什么？ 田渊栋 我很开心这个名字被你挑出来，因为这个名字确实是我起的。 还是要有自己的想法，或者说自己的一些逻辑，去思考问题本身。有些事情你不想做，有些事情你想做，但是必须用一种特别的方式把它做出来。 其实有很多很多条路可以发文章，很多条路可以发表有贡献的文章，但是最终有一条路是你自己特别喜欢、自己愿意走下去的，这条路才是你想要走的路径。 卫诗婕 所以您觉得科研品味，就是走自己想走的路？ 田渊栋 对，是这样。因为最终，大家一切的公共产品和重复劳动都被自动化之后，对于每个人来说，价值在哪里？就是找到自己想走的路，继续走下去。我觉得这是最重要的。 卫诗婕 我在想，每个人自己想走的路，是不是他世界观、价值观的投射，也是品味的体现？ 田渊栋 对，就是这样。对于一个很复杂的世界来说，作为一个人，其实很难对这个世界有充分的理解，因为这个世界非常复杂。所以他必须要有信念，必须要有理想，必须要有一个自己能够 bet on 的东西。 Bet on 就是赌一下：我赌这条路线是对的。这个 bet 应该说构成了一个人的价值所在，因为这个 bet 有可能将来会成功。 卫诗婕 回到之前失业和裁员的话题上，应该说现在我们所有的价值，都是通过劳动给大家提供价值。这个劳动可以是重复劳动，但重复劳动本身是稀缺的，所以大家会为此支付工资。 但是以后，如果所有重复劳动的价值都是 0，因为有 AI 帮你做，比如写代码，你写出来的代码 AI 也能写，而 AI 同时又是无限供给的，那写代码的价值就基本是 0 了。 这个时候，每个人的价值就在于，是不是选择不同的路线去探索这个世界、产生内容。我觉得这很重要。 卫诗婕 我就想到《The Road Not Taken》这首诗的意境。世界很大，你可能会走错路，但是即便你折返，再去走另外一条路，刚才那条路也不是白走的。你选择的路，如果走下去，它已经构成了你生命的一部分。 田渊栋 是的，其实做研究也是这样。你 bet on 一个方向，也有可能 bet 错。但是即便 bet 错了，再回头探索新的方向，过去的经历应该也是财富。 卫诗婕 这其实 call back 了你刚才说的：经过前几轮技术浪潮的人，可能更知道在什么样的情景下该用什么样的范式。 田渊栋 对，exactly，就是这样一个逻辑。你有经验，这个经验本身不是浪费的，可能是你过去一些有意思的想法的总结。 谁能把这些总结真正上升到一个比较高的高度，能够把这个高度和这些总结应用在将来的决策上，我觉得这是最重要的。 卫诗婕 所以您作为一位资深研究人员，看 paper 的时候，其实可以一眼分辨出它到底是符合您刚才说的 research taste，还是只是一篇为了应付领导的工作成果。您可以分辨出来吗？ 田渊栋 应该这么说，可以大致分辨出来，但是很难非常精确地分辨。因为每篇文章都会有一些有意思的地方。 有些文章是简单的工作，不是特别有洞察力；但有些工作特别有洞察力，也许一开始看不出来，可能会在两年、3 年之后慢慢发现它的价值。有很多这样的事情会发生。 比如 Transformer 这篇文章，当年发表的时候其实也不是那么火。Transformer 的缔造者在做这篇文章时，动机不是把效果变得很好，他们的动机是：我的 GPU 或 TPU 计算能力非常强，但是把东西从内存搬进来、再搬出去，代价非常大。 所以他们希望把内存搬进来之后，能够进行尽量多的计算。这个计算是通过 attention 来完成的，通过这种方式解决问题。它的目的和最后的影响力其实不是一回事，这是很有意思的现象。 卫诗婕 回到我们最开始说的问题：您到底认不认为 scaling law 马上就要见顶了？如果它见顶了，我们要怎么办？ 田渊栋 我觉得 scaling law 不会见顶。只要机器资源足够多、数据足够多，总是可以往上走。所以见顶不见顶不是问题，问题在于你有没有时间和代价，有没有同样重要的资源把它推上去，这是最大的问题。 也许今天我们的 data center 需要一个小型核电站供能。那你再往上乘 10，需要多少核电站供能？再往上乘 10，再乘 10，最终整个地球都必须用所有能源为你的 data center 服务。 如果能做到，那当然很好，但做不到的话怎么办？这是一个问题。更多是资源消耗的问题。 所以不存在相应不相应的问题，更重要的是，我们现在有多少资源，有了这些资源之后，走哪条路会获得最大的影响力。大厂跟小厂最终的路线可能会不一样。 卫诗婕 这也是我想问的。其实这 3 年来，近 300 万亿个 token 被喂进大语言模型之后，我们怎么评估这场声势浩大的实验效果？它的代价是不是过大？ 田渊栋 其实我觉得成果还是很大的。现在大家知道写代码可以不用人写了，这个认知本身就值这么多代价。我不考虑经济效益，单考虑认知上的效益，这应该说就是很大的一个成果。 OpenAI，或者说 Trae，或者其他公司，很多时候花的钱不是花在服务客户上，很多钱花在研发上。如果研发哪天停下来，或者大家都满足于现在大语言模型的进展，纯粹去 serve model、做 inference，其实是可以赚钱的。 但为了将来的下一步模型，就不得不亏钱去做这件事，主要是这个原因。 卫诗婕 2026 年探索新的架构跟训练方式，在这个层面上会不会有大的突破？ 田渊栋 我觉得一定会做。很多人都在做这些事情，这没有任何问题。有没有突破不好讲，因为现在还是有一些新的方案。 比如用 embedding Lookup Table 换 FFN；线性 attention 怎么样跟 full attention 结合起来；还有 Continual Learning 的范式转变；怎么样让训练变得更稳定、更快；数据怎么样构造，大家都在探索。 很难讲一定会有突破，大概率还是会有一些突破的。但是有没有大突破，比如范式转变，我觉得现在概率不是很大。 卫诗婕 我之前聊过 OpenAI 的前科学家，他们有一个观点：自从大模型开始军备竞赛之后，研究领域就变得非常无趣，因为 AI 研究都朝着一个方向。 但是 Karpathy 说，现在可能又要回到探索时代，研究会再次变得有趣。 田渊栋 对，我赞同。可能那些之前经历过浪潮的人已经觉得比较无聊了，因为现在大家基本上都在刷榜，或者按照某种范式来生成数据，再用它来提高效果。 这些范式大家已经经历过了，而且经历了很久，所以大家愿意去做一些不一样的事情，但还是需要一些时间。 卫诗婕 中国的一些投资人觉得，2026 年大模型行业可能会经历一些回调。但我理解，那个回调更多是投资人期待的回调。您觉得 2026 年 AI 行业会回调吗？ 田渊栋 我倒不觉得。我觉得是反过来。你会发现，很多应用真的开始爆发了，这些应用会改变人的日常生活。 像 Code Agent，它其实改变了很多代码写作和工作流程，本身就是很大的突破。这样会催生很多下游场景和任务，而且速度非常快。 如果有人愿意把自己的想法实现出来，因为现在有 coding 工具的协助，实现速度非常快。以前可能要花 2 个月写一段代码，现在有这些工具，可以把 2 个月缩短成 2 个星期，或者更短。 对 VC 或者资本来说，这应该是更大的消息。因为他们可能并不那么关心技术理论有什么突破，或者发生了什么突破，他们感兴趣的是能不能赚钱。 卫诗婕 所以从这个角度来看，2026 年很值得期待，是吧？ 田渊栋 对，是很值得期待。这应该说是很大的区别。 卫诗婕 因为您一直在 RL 领域生根，可不可以给我们讲述一下 RL 这些年的发展？很多人会觉得，RL 还有很大的 scaling 空间。 田渊栋 应该说还是有不少 scaling 空间。我不觉得 RL 是一个死掉的领域，还有很多路线可以走。 RL 也是从去年才刚开始火起来。DeepSeek-R1 来了之后，突然之间无数人开始做 reinforcement learning paper。应该说这才一年的时间，还有很多可以挖的地方。 卫诗婕 接下来开源模型距离闭源模型的差距会越来越远，还是越来越近？ 田渊栋 这个不太好说，应该说不远也不近，可能会迎头追赶。Gap 应该不会拉大，也不会缩小，我觉得可能会这样。 开源很多时候其实还是用到了闭源的数据，所以它一定会在闭源之后走一点。但是另外一方面，中间肯定会有时间上的滞后过程，所以开源一定会落后闭源一阵子，但不会落后太远。 卫诗婕 在中国，好像在大语言模型领域，大家当下的 bet 高度趋同，无非就是 Agent、长上下文，还有刚才说的 RL，是这样吗？ 田渊栋 我不是特别熟悉中国具体的 bet 过程。当然看他们的报告，可能方向比较像，没有太多不一样的地方。但是我觉得还是有很多组在做一些探索。 比如怎么样做 reinforcement learning，怎么样把 attention memory 做得更好，不同的 attention mechanism 怎么调配，其实应该说还是比较 diverse。当然有些比较冷门的方向，国内做的人确实不是特别多。 卫诗婕 所以时间点卡在 2026 年的当下，您觉得大模型这个领域的真问题有哪些？ 田渊栋 真问题肯定一个是效率问题：怎么样让模型的效率变得更高，用更少的数据获得更大的结果，也就是数据效率。 还有一个是推理效率，怎么样让推理成本下降，让推理长度变短，让思维更有效率。 还有持续学习，能不能让模型不停地自我学习、自我迭代，让它变得越来越强。 再有就是怎么样让 Agent 变得更强，解决各种实际问题，这些都是比较热门的方向。 还有模型架构怎么样变得更有效，怎么样超越 Transformer；怎么样让模型的优化器变得更好；怎么样让数据质量更高；怎么样让训练变得更稳定。这些都可以做。 卫诗婕 您说，对比 400 年前的物理学，我们现在有很多 AI 版的第谷，负责收集数据；一些 AI 版的开普勒提出假说；但是还没有 AI 版的牛顿。能不能给我们展开解释一下这个结论？ 田渊栋 AI 版第谷，其实就是说：“我有很多文章，这些文章看的就是我发现了什么现象。这个现象可能在某种情况下发生，然后发生完之后，我们怎么去解释它。”大概是这样。 开普勒相对来说可能比第谷稍微高一层：把这些数据结合起来，得到一些理论，再看看这些理论能不能解释更新的现象。 但是牛顿的逻辑是另外一回事：我有一些基本原理，根据基本原理能不能推出我看到的所有现象，这就很难了。这可能是另外一个层次的东西。 其实我一直在这上面有一些探索：我们是不是能够从神经网络的基本原理——它是梯度下降训练的，它的数据有什么结构——反过来推导出它所有可能的现象？ 如果这件事情能成功，当然就能够解释所有实验现象，也能解释所有假想的理论。这样会是很大的贡献，但现在还挺难做到这一点。 卫诗婕 明白。最后我们来聊聊大模型和人，也是人的处境。 您之前提到过一个细节：帮忙赶工 Llama 4 期间，您在加州，跟纽约、东部、伦敦的同事深夜接力，夜以继日地帮助大模型越来越强。您之前也常常提到 AI 是洪水，这给我一个画面感：大家在拼命搬水，只是在等待洪水有一天淹没自己，感觉充满了宿命感。 您现在离职抽身，再出来感受这个细节的时候，有没有什么不同的感受和思考？ ### 洪水时代寻找立足之地 田渊栋 我觉得这个应该说还是存在的。这本来就是经济规律。对于所有公司来说，当然希望自己的模型变得更强，所以这产生了一个囚徒困境：谁不做这件事，谁就会被落下，大家都得做这件事。 我还记得 2023 年大模型刚出来的时候，有人呼吁所有人停下手上的工作，希望大模型停止进展 6 个月，然后大家好好想想怎么把安全问题解决了。确实有不少人在签字，但是最后也不了了之。 这是一个囚徒困境。如果有人做、其他人不做，那自己就落后了。所以我觉得这是不可避免的，也是宿命的一部分，没有办法。 可能对我来说，最大的影响是：能不能摆脱这样的情况，找到一个更高的位置，让自己站在比较有利的位置上。 如果一件事情是宿命、一定会发生，那就不应该花时间去阻止它，可能会吃力不讨好。但是有没有更好的方式，把自己提前置于一个相对有利的位置？ 就像洪水会越来越高，但是你希望在洪水到来之前找到一个好的地方落脚，而不是在低洼的地方拼命筑坝，希望洪水不要涌进来。如果是这样，你永远会失败，因为洪水永远会越来越高。 卫诗婕 您的年终总结里有一个跟普通人都息息相关的观点很有意思。您提出了一个人类社会的“费米能级”：物理里面的费米能级，指的是电子在材料当中的分布，低于某个能级的电子遍地都是，高于某个能级的电子指数级减少。 您说这个能级就是 AI 洪水的水位线，还在文章里面号召大家“丢掉幻想，准备战斗”。但是具体怎么战斗呢？ 田渊栋 首先，希望大家能够很快利用 AI 工具，发现自己的不同之处，这是一个重要的地方。 以后起码要求所有人都可以用 AI 工具，让自己做到“人加 AI 大于 AI 自己”。不然的话，很难证明自己有价值，因为 AI 确实是无限供给、非常便宜的劳动力，很难跟它竞争。 至少在使用工具的过程中，能不能比较快地发现自己的特长，在这个特长上给大家提供工具最需要的价值，我觉得这是一个比较重要的逻辑。 卫诗婕 比如说，大家发现用人加 AI 的工具，做出来的东西比 AI 更好，你就是有价值。这个对中年人或者刚出生的年轻人都是一样的。 如果我们把人的能力跟模型现在有的能力作为一组参照系，哪些能力是现在人比较擅长，或者可以擅长，而模型很难具备的？ 田渊栋 主要还是人的综合判断力，以及人对于一个行业、一个垂直领域的经验，这些应该说是比较重要的。 你一开始觉得 AI 什么都是对的，但是某一天你会发现，AI 在某些问题上是错的。你能够指出 AI 的错误，发现 AI 的弱点，并且根据这些弱点有计划地指导 AI，让它往正确方向走，这本身就是一个比较重要的办法。 不要什么事情都被 AI 牵着走。AI 很多 decision、想法和思路，你都要想一想是不是对的；这个问题你有没有自己的技术和专业能力去解答。 慢慢你会发现，AI 在这方面是有弱点的。在这种情况下，人加 AI 就超过了 AI 自己。 卫诗婕 我之前听说 Thinking Machines Lab 的人有一个观点：“Research is product。”现在研究者、研究员自己就能够成为产品经理。您在美国有观察到这样的现象吗？ 田渊栋 这要看 product 是怎么定义的。 我觉得现在确实 research 跟 product 之间的距离越来越近了。很多时候，大模型本身很容易变成 product，它本来就是一个 chatbot。 如果 product 本身的定义很清楚，那么研究员在研究这个 product 的过程中，会发现很多 insights。这些 insights 本身可以做成 product 的 improvements。 所以研究员在某种程度上已经成为 product manager 了。我觉得以后可能每个人都会成为一个 vertical 的全栈工程师，因为每个链条上都有 insight。拥有这些 insight 的人，将来可能会比较稀缺。 卫诗婕 您的年终总结里把 AI 比作神灯，您说将来会是遍地神灯的时代，真正稀缺的不再是实现愿望的能力，而是愿望本身。那您现在有什么愿望呢？ 田渊栋 我觉得愿望还是希望能够发现 AI 的本质规律，也就是我们什么时候能够产生 AI 牛顿。 这当然是一个愿望。我们想知道这个黑盒子里面究竟有什么，能不能根据这种理解，让 AI 变得更强。 另外，我们希望将来 AI 能够比较安全。如果知道里面发生了什么，就会知道 AI 以后会不会对人类产生正面或者负面的影响，这比较重要。 卫诗婕 最后一个问题。因为我看您写科幻小说，我自己觉得写作本身是一种疗愈，不知道您有没有这样的体会？以及您在创作这些小说，比如《破晓之中》里面，有没有哪些情节跟您对这个世界的理解、以及您对这个世界的愿望结合在一起？ 田渊栋 愿望还是有很多的。小说里面有很多角色，其实都有我自己一部分过去的经历。 比如一开始几个博士生的遭遇和他们的日常生活，很多片段是我在博士阶段经历过的，有些不是那么愉快，或者说比较微妙的经历，其实可以通过小说反映出来。 里面也包括强 AI 在地球上发生之后，会发生什么事情，包括人类不再是剧场的中心这样的想法。 比如我们以前写小说，可能都是人本主义的，觉得人类最终一定是整个舞台的中心，机器一定是辅助。但是这部小说后面写到，最终有一些事情人类只能做旁观者，或者说人类只是一个推动剂，但是最终的舞台在 AI 中间产生。 这种逻辑跟以前的小说相比是不一样的。 另外一方面，怎么样探索人和 AI 之间，或者人在和 AI 结合之后，在这个世界里会是什么样的社会形态？我觉得这也是一个很有意思的议题。 第二部里面会有更多讨论：如果一个世界里所有重复劳动的价值都是 0，在这种情况下，人有什么价值？一个智能体有意识、有目的，那么它的价值在哪里？ 这个其实是一个很有意思的问题，可以作为一个社会学实验，或者说思考实验，继续推演下去。 卫诗婕 您提出愿望很重要。一个人还是要有目标、有野心的，但是野心，以及与之伴随的挑战和个人心性的煎熬，这三者之间怎么平衡呢？ 田渊栋 我觉得目的还是重要的。愿望其实就是目的的一部分。如果有办法把目的实现，这整个探索过程应该说是很有意思的一个过程，所以不能说是煎熬。 你每次想到煎熬的时候，就意味着又发现了一条新的成长路径和新的方向，让你有动力和时间去思考、去探索，让你觉得活着是有价值的。这应该是一个比较积极的想法。 如果所有愿望都能很快实现，那人生会很无聊。所以最终还是得走 The Road Not Taken。 卫诗婕 对，你肯定会找一条路径。这条路径可能会让你有一些新的经验和感觉。 田渊栋 每个人的经验和体验本身都是独一无二的。以后可能大家会分享这样的经验和路径，彼此之间找到一些有意思的、没有见过的世界，那么这本身就是人类的价值所在。 好啦，这期节目就到这里。本期播客的视频版已经全网上线，欢迎前往 B 站、微博、小红书、视频号、腾讯视频等平台都能找到我的视频专栏。这是一档追求深度、生动与信息质量的科技商业访谈，我们争取在每一个技术、商业、时代的关键变化节点提供负责、可靠的一手信息。欢迎在留言区留下你的评论，你的评论、转发、分享对我们来说真的很重要。我们下期再见。