「AI Infra 就是命运」 | 对谈王雁鹏：亲述从大数据时代到 3 万卡集群的中国算力演进史

Ronghui

本周的十字路口，我们来聊一聊 AI 的 infra，也就是 AI 的基础设施。最近有非常多关于 OpenAI 这个“基建狂魔”的新闻刷屏。首先是传闻中耗资 1,000 亿美元的“星际之门”超级计算机项目，这已经是今年年初的事情了。紧接着，最近他们又与 Oracle 签了 3,000 亿美元的订单，要在全美建设 4.5 吉瓦的巨型数据中心。

这是什么概念呢？4.5 吉瓦相当于接近 4 个核电站的发电量，而 3,000 亿美元已经超过了非常多国家一整年的 GDP。这些天价合同的背后，我自己的感受是，有一个信号在往外传递：在 AI 现在这个时间点，算法创新固然仍然非常重要，但是算力好像正在成为终极变量。

这好像已经是一场关于未来的军备竞赛，从代码和模型延伸到了芯片、电力、数据中心等更底层的物理世界。回忆一年前，OpenAI 曾经发布过一份官方报告，标题叫作《Infra Is Destiny》，就是说 AI infra 就是命运。今天，OpenAI 也在坚定地实践他们的这一理解。

与此同时，中国的科技公司在怎么布局？在这一场竞赛里面，我们又处于什么样的位置？本周十字路口请到的嘉宾，他的职业生涯几乎就是一部中国互联网基础设施的演进史：从 CPU 时代的自研服务器，到今天 GPU 时代的超大规模集群，再到大模型时代的基础设施。他就是百度百舸平台负责人王雁鹏。

雁鹏，你好，欢迎来到十字路口。

你好，你好。

我们先从快问快答开始。雁鹏，您的年龄？

41。

毕业院校？

华中科技大学。

你的 MBTI 和星座呢？

MBTI 不知道，星座是处女座。

一句话介绍一下百舸。

一个高效的基础设施平台。

在百舸之前，您在做什么？

一直在从事基础设施方面的工作。

百舸目前收入和利润的情况，方便透露吗？

不好说，就头部吧。

一开始提到，雁鹏的职业生涯在我看来非常像中国互联网基础设施的演进史。应该在 2011 年的时候，雁鹏就加入了百度，然后一直在百度做基础设施相关的工作，从自研服务器、SSD，到 GPU 加速，再到今天大模型的大规模 AI 计算平台。

可不可以先请雁鹏从你亲历历史的角度，给我们讲一讲互联网基础设施主要经历了哪几个阶段，中间又有哪些比较关键的节点？

1. 大数据开启基础设施革命

从我的职业生涯讲，我觉得我确实很幸运，经历了整个互联网的发展。整个互联网的发展，也带来了基础设施天翻地覆的变化，所以在我看来，大概有 3 个大的阶段。

第一个阶段，就是我们刚入职的时候。那会儿其实是大数据时代，这个时代是被 Google 带起来的。Google 当时有 3 篇可以说影响整个业界的论文：MapReduce、Bigtable 和 GFS。这 3 篇论文奠定了大规模互联网基础设施的理论基础。

当时 Google 做这个东西，出发点也很直接。那时候更多商业硬件都是为小规模服务的，比如 IBM 的大型机、惠普和戴尔的服务器，以及 Oracle 的数据库。这些软硬件和互联网的数据量相比，基本上是差了 2 个数量级的规模。

所以 Google 会发现，商业软硬件一方面很贵，另一方面也满足不了自己的需求。于是 Google 引领了我们今天所说的大数据浪潮，真正开始处理特别大规模的数据。

当时 Google 有一位传奇架构师，杰夫·迪恩。做系统的同学应该都了解他。他有一个非常重要的理念，就是可以用 commodity 硬件搭建高性能系统。

对。他推动使用类似家用 PC 电脑一样的东西，通过几万台机器搭建一个超大规模系统。大家可以想见，这对硬件来说相对容易、相对简单，里面没有很多容错技术，也没有大型计算机的那些技术，它就是用家用计算机。

但是在软件上，我用分布式系统、分布式计算和分布式存储，来构建这样一套东西。这就是第一个大数据时代。

你可以想见，这对业界有很大的震动。原来做服务器的厂商，高阶服务器，比如 IBM 的服务器，不需要了，被冲击了。软件上，我们使用分布式软件。后面这些论文出来之后，大家又在上面做了非常多的工作。

这个东西和之前也有很大的变化。之前的分布式文件系统、并行计算，都是很高端的商业闭源软件，你不知道里面是怎么做的，甚至原理都不清楚。但这 3 篇论文出来之后，大家都可以自己在上面做，包括后来开源的 Hadoop 整个生态。软件上大家也都能做了。

所以，我们是第一批互联网厂商，自己去建设大规模数据中心，不管是硬件还是软件。我理解，这也是互联网大厂真正进入数据中心硬件领域的开始。好处显而易见：通过软硬件一体的方式，第一，我能处理这么大规模的数据；第二，能够极大地降低成本。

那个时候百度也需要处理海量数据，所以很自然地，我理解百度当时也为了大数据做了比较多基础设施相关的工作。那个时候正好你又加入了百度。

对。百度当时最大的单体应用就是搜索。那时候搜索的数据处理量，其实比电商、社交都要大很多。所以百度应该也是国内最早面临这么大挑战的公司之一，我们当时也算是最早开始自己做自研硬件和软件这一套基础设施的公司。

这个变化还是很大的。我记得我最早做产品经理的时候，跟着王兴做饭否，有一个很深刻的印象：那会儿有一天服务器的数量突然起来了。我们办公室里不知道为什么正好备着一台没用的服务器，阿迪把它配好以后，我和兴哥打了一辆黄色出租车，开到北京西站。那个时候我们的机房就在北京西站。

我俩搬着刀片服务器，把它插进去，然后还要打电话给办公室的同事，让他看一看好了没有。现在想想，简直像史前时代一样。今天的工程师可能会觉得，不就是点两下鼠标，百度云或者其他云服务器就出来了吗？现在整个过程非常有弹性，根本不需要两个人打出租车去搬服务器。

2. 云时代释放计算弹性

对，你说的这个正好就是第二个基础设施大发展的时代。第二个时代的技术有一个大的跃迁，就是你刚才说的云时代。

你刚才举的例子非常好。创业者不需要自己搞服务器、搞机房、上架服务器了，这些事情对开发者来说非常不友好，效率也很低。

而且那会儿觉得 R&D 的时间比较宝贵，所以只有产品经理会去做这些事情。工程师坐在办公室里指挥我们。

所以到了云时代，比较有代表性的公司就是亚马逊。亚马逊之前更多是做电商、卖书，它有大量闲置服务器。而且它的波峰波谷更显著，有淡季、旺季，时间上的差异更明显，所以会有大量空闲服务器。

那怎么办？它想到的是把这些服务器租出去。这就是它最早做云的原因。它的核心理念是，让计算变得非常有弹性，我不需要关注物理世界。

它的技术创新点，和之前也不太一样。它希望让用户能够更容易地迁移到云上，所以做了一套基础设施，打造出来的东西就像一台单机服务器一样，你随时可以登录上去，看到有多少 CPU、多少硬盘、多少内存。这是一套虚拟化技术。

这套东西深刻影响了第二阶段基础设施的架构。它需要把复杂的底层虚拟化能力沉到数据中心一侧。数据中心可以管理几万台服务器，但在这几万台服务器上，又可以虚拟出几十万台用户侧的电脑，而且可以随时缩放 CPU、内存、硬盘等资源。

它是以弹性为核心构建的一套技术体系，能够做到极致的弹性。现在比较有代表性的技术就是智能网卡。智能网卡其实充当了虚拟化平台的作用，把底层物理资源和用户看到的云资源隔开。上面的整套虚拟化技术，承载在智能网卡这套系统里面。

我觉得这是第二个大的时代。

3. GPU改写计算范式

然后第三个，就到了现在的 AI 时代。

对，到了 AI 时代。我觉得这是一个更大的变革。以前我们也觉得变化很大，但是和今天的 AI 时代比起来，都是小巫见大巫。

AI 真的是计算范式的变化。之前整体来说，计算范式还是在 CPU 上。我们数字化的一切，基本都建立在 CPU 上。

CPU 是一个比较复杂的计算单元，可以做很多通用计算。无论是数据处理、各种业务逻辑，还是显示技术，这些数字化的东西全部都运行在 CPU 上。

CPU 的核心其实不完全是计算，而是处理逻辑。学计算机的人都知道，CPU 里面有很多控制逻辑，会处理复杂逻辑，还有乱序执行。因为如果顺序执行，效率会很低，所以它会有各种预测机制。

因此，CPU 发展到后面，可能只有 10% 的单元是用来计算的，剩下 80% 到 90% 都是给 cache 和控制单元使用的。它是一个非常复杂的处理器。

但是它的好处是，可以完成整个世界的数字化，把各种应用、各种逻辑全部搬上来。还有一点，我们经常说 CPU 的指令集是图灵完备的。图灵完备是什么意思？就是通过这些指令集，可以完成现在所有编程语言的功能，构建所有软件。

所以 CPU 可以做到软硬件解耦。大家经常听到的摩尔定律，是说每 1 年半，硬件的晶体管数量就翻一番。这是英特尔的摩尔提出的一个非常经典的规律。

它的好处就是软硬件解耦。硬件但凡翻一番，意味着软件的性能大概率也会提升一倍。软件不用做任何改动，全部兼容。不管是云还是大数据，本质上都还是在 CPU 的计算体系上做的。

GPU 时代为什么是计算平台的一次本质跃迁？GPU 最大的特点，从硬件上看，就是把所有晶体管空间都用来做计算。刚才说 CPU 可能只有 10% 是用来计算的，GPU 则是 100% 都给了计算。

这就导致 GPU 的控制能力非常弱，不能做复杂逻辑。你不能随便写一个程序放在 GPU 上运行，它跑不了。GPU 的理念就是把算力堆到极致，但要想用好这些算力，就需要配合非常定制化的软件。

针对每一个算法、每一个算子，以及今天各种模型中的每一个算子，都要做比较深入的优化，才能在这块芯片上把它跑好。所以它有一个特别大的变化：必须软硬件一体，软件在里面占了很大比例。

第二点是，硬件每一代变化之后，软件其实都不兼容，需要花很大精力去升级软件。这就是我们所说的 GPU 时代。但是它带来的巨大好处是，算力可以提升几十倍。

4. 英伟达建立软件护城河

那时候和英伟达合作，感受是什么？

他们会派很多工程师来，帮助我们优化模型和算法。

那个时候已经有 CUDA 了？

CUDA 在这之前就有。

英伟达最早做 CUDA 的时候，其实没想着在深度学习里面使用。它之前不是做显卡的吗？做显卡做着做着，就希望做一层抽象，也就是 CUDA 这一层东西。

它把算力不只给显卡使用，也可以让人自己做一些自定义编程和自定义计算。它当时的出发点，是希望让应用更广泛，但具体怎么使用，其实它也不知道。

所以早期使用 CUDA 的，更多是学校里做研究的大学教授。他们使用这个东西，自己做各种算法实验，效率比 CPU 高。正好深度学习这一波，以 Hinton 为代表的研究者从大学教授群体中走出来，他们更早接触了 CUDA，所以天然就把它带到了深度学习浪潮里面。

百度那时候也比较早成立了深度学习实验室，叫作 IDL，所以我们和英伟达有很多合作。

你问合作的感受，就是每一个算法都需要深入优化。英伟达会派很多人来，和我们一起优化算法，针对不同场景、不同模型做各种优化。

所以很早我们就知道，英伟达和英特尔不太一样。英特尔可能有 60% 到 70% 的人是硬件出身，英伟达很早整个公司的结构里就有 80% 的人做软件。它作为一家芯片公司，实际上 80% 的人是做软件的。

那时候你预见到它今天能够成为世界第一的巨头吗？

如果那时候预见到了，我们早就买它的股票了。那会儿它的市值才 100 亿美元，现在是 4 万亿美元，400 倍。

那时候百度的市值可是 300 亿到 400 亿美元。英伟达是 100 亿美元，所以这件事很有意思。

真正进入深度学习时代之后，深度学习带动了 GPU 时代。CUDA 生态在深度学习的前些年，面对很多模型变种，需要支持很多小模型，所以生态非常强大。

我要支持这么多模型，如果自己做一块 AI 芯片，硬件上可能可以把算力堆上去，但软件上要适配这么多模型，难度非常大。这就是为什么上一轮 AI 芯片创业浪潮没有真正起来。

国外也有一些公司当时很火，做 AI 芯片的创业公司最后都没有起来，就是因为软件适配的代价太大，很难和英伟达掰手腕。这就是大家所说的 CUDA 生态的强大。

5. 大模型进入工业时代

但今天又进化了，进入了我们正在经历的大模型时代。

大模型时代在我看来，本质上是工业范式的变化。原来深度学习时代，还是算法创新驱动的。算法创新有一个问题，就是需要灵光乍现。

我的场景无穷无尽，这个场景能不能做好，今天解决了这个场景，明天迁移到其他场景，又需要花很长时间和很大代价，可能还需要科学家有新的发现，发明新的模型结构。

所以整体来说，这种创新不太可控。创新不可控，就导致能够落地的应用有限，大家对它的预期也有限，因此还是一个小众的东西。

即使在那个时代，我们也很难说整个计算平台已经从 CPU 迁移到 GPU。GPU 更多还是一种补充，仍处于探索和发现阶段。

但大模型真正带来的变化，是它成为了工业范式。大家经常会提到 scaling law。Scaling law 的意思是，我不断扩大规模：一个是模型参数量，一个是模型训练数据量。从这两个角度不断 scaling，模型就会变强。

这真正进入了工业大生产时代。我们可以类比 CPU 时代。CPU 的第一个特点是软硬件解耦，第二个特点是硬件迭代有工业力量推动。摩尔定律不断推动芯片性能增强，从而让整个数字世界越来越强。

芯片变强，应用就变强，中间还不需要做特别多适配。所以英特尔当年的霸主地位，就是因为它每 1 年半推出一代新产品，就能推动整个产业链发展。

回头看大模型，它在新的智能时代创造了这样一个范式：只要不断 scaling 参数量、scaling 数据量，智能就会越来越强。

从效果上看，这更让人惊艳。所谓越来越强，意味着很强的泛化性。今天我们已经习以为常了，觉得大模型什么都能干，可以聊天、总结，甚至可以当科学家。

但如果回到 3 年前，这些事情都不太可能。NLP 当年被认为是研究上的皇冠。所谓皇冠，就是它非常复杂，里面有非常多领域，每个领域使用的算法和策略都不一样。

大家没想到，大模型首先突破的恰恰是 NLP。前一代深度学习更多突破的是图像领域，今天的监控、安防，其实都是图像应用。图像相对容易，因为不需要处理太多语义和复杂任务，只要做人脸识别、车牌识别等就可以了。

当时经常有一句话，说深度学习解决的大概是 4 岁或 5 岁小孩能做的事情，比如看和识别人脸。NLP 的很多事情，在原来的深度学习时代其实解决不了。

这也是为什么大模型真正震惊了整个业界。绝大多数学者和行业里的人，都没有预料到它会有这么巨大的跃迁：效果上捅破了天花板，模式上又变成了工业化、可复制的东西。

我堆更多算力，把参数量做大，把数据量做大，效果就能持续变好。这催生了现在真正意义上计算平台从 CPU 跃迁到以 GPU 为核心的阶段。

而且以 GPU 为核心之后，智能就变成了算力。算力能催生多少智能，这件事就变成了爆炸式的。

6. 算力竞赛走向架构创新

说到这里，这几个月你有没有感觉到 AI infra 发生了哪些新的变化或趋势？尤其是 OpenAI 与英伟达、AMD，以及最近和博通签订的那些天价合同出现之后，你会如何看待和理解？

我觉得这个范式是可以持续下去的。也就是说，在大规模算力的基础上催生智能，这个逻辑是成立的。

在这个逻辑成立的基础上，我有更多算力建设，就能催生更多智能；智能又会反过来消耗更多算力，这个正循环是能够不断提升的。

你会觉得这场竞赛会变成某种资本竞赛吗？需要非常大量的资金投入，才可能获得一些优势。在这种情况下，不管是中小型公司还是大学研究机构，它们在竞赛里还有什么优势吗？

我个人判断，如果沿着现在这条路走，确实会有更多前沿研究在大公司里面被催生，因为它有海量算力。

但是从另外一个视角看，这个东西可能不是智能的终极形态。对比人类大脑，人类大脑并没有消耗这么多算力，也没有消耗这么多电力。

所以，本质架构上的创新，我觉得还是下一阶段需要追求的。

Andrew Kapasi 最近的一期播客里也提到，他觉得现在的 Transformer 像是在造一个初级动物。如果真的要造出智能，应该不是现在这样的做法，应该还有不同的技术路径需要探索。

对。Hinton 其实一直认为，Transformer 不可能通向 AGI。

Hinton 的观点也一直在变化，但他有一个观点，就是觉得神经网络不是一种高效的东西。所以他花了很多时间研究胶囊网络之类的东西。

他的意思是，人类大脑看起来不是暴力计算，而是这种触发式的计算，脑神经里面的电流也是触发式的。人脑的计算可能更符合人脑自身的构造。

如果对比人脑，人脑其实不需要这么大的功率去做这些事情。

我们录播客的今天早上，DeepSeek 又发布了一个新的 OCR。

对。

它其实讲的就是，人类在记忆里不是用文字来记录信息的，我们处理信息也不是用文字来处理。我们都是通过视觉来处理信息，哪怕看书也是在看视觉，而不是一个一个文字 token 进入大脑。

所以，它用图像来压缩信息的输入，可以让存储和传输效率变得更高。

对。这就是研究和工业的区别。

如果是在 scaling law 的基础上，让模型效率不断变好，解决更多问题，我认为这条路径更多会发生在公司里面。但这个东西也需要很多创新，不是说我把算力堆上去，立刻就能做出来。

如果这样的话，Meta 现在也不会这么着急。Meta 其实买了很多卡，但还是需要顶尖人才。

像更高级的压缩算法、类脑神经网络等范式创新，我觉得仍然需要去追求。而且这种范式创新同样是软硬件一体的。

比如类脑神经网络，使用的芯片肯定和今天不一样，完全不一样。

我们都说大模型的进化要依靠算力、算法和数据。在你看来，今天哪个因素相对其他因素更加重要？

从我们刚才分析的这 3 点来看，算法方面，现在大家的大方向是一致的，当然里面还有很多创新，但大方向是一致的。

更重要的是数据。大家可以看到，现在互联网上的数据其实都用得差不多了，已经进入数据不够用的阶段。所以统一的做法，就是合成、生成很多数据。

下一代模型的进化，都需要生成数据。预训练要合成很多数据，更重要的是现在大家都在谈的强化学习范式。强化学习本质上也是自己生成数据，让自己的模型去生成数据。

现在能用的数据已经差不多用完了，更多数据来自哪里？还是来自算力。你有更多算力，就能制造更多数据；有更多算力，也能对数据做更多清洗、过滤，得到优质数据。优质数据再反哺算力。

所以不管怎么看，算力都会发挥更加重要的作用。

7. DeepSeek重写软硬件协同

聊到这里，让我想到今年年初，DeepSeek 发布 R1，正好是 OpenAI 讲“星际之门”计划的时候。那个时候出现了两种声音：一种声音说还是要堆算力，大力出奇迹；另一种声音说，中国可以在很多地方用巧劲，不一定这个世界上只有算力决定论。

对于这样的观点，你怎么看？

我觉得这两者并不矛盾。算力是基础，不管算法创新还是数据创新，都要落到有足够算力才能实现。

有更多算力，就能做更多算法实践。比如每个 token 能够提升多少智能，可以理解成算法效率；一个 token 需要多少算力支持，可以理解成算力效率。这两者乘起来，最终就是智能效率。

算法效率也需要提升。DeepSeek 给我们做了一个很好的实践：算法上的提升幅度也可以非常大。不要完全沿着原来的范式去做，否则可能要堆 10 倍、100 倍算力才能实现，很快就做不下去了。

DeepSeek 告诉我们，通过软硬件一体的创新，它的模型可以很强。它和硬件是强耦合设计的。真正让人眼前一亮的地方，是它的模型架构和硬件有深刻结合。

它是在现有 GPU 芯片和集群上，设计出更高效的模型架构，从而让模型效能大幅提升，也 enable 了 MoE。

原来都是稠密计算，MoE 是稀疏计算。稀疏计算天然对 GPU 和大集群不友好，因为大集群更擅长完整、密集的计算。但稀疏计算意味着有的地方算，有的地方不算，那中间如何排布算力，就和模型架构紧密相关。

DeepSeek 演示的是：在模型上进行创新，但模型结构的设计是基于现有硬件体系设计出来的，而不是只在家里凭空想出来的。

如果只从算法一方面去想，做 MoE 时可能会觉得稀疏度越低越高效，稀疏比例越低越高效。但把硬件因素带进来之后，就要考虑两个方面。

稀疏率低还不够，因为在 GPU 上可能跑不出来。你如果弄出全是稀疏矩阵、中间全是空洞的矩阵，GPU 做不了这种矩阵计算，效率反而会很低。

所以 DeepSeek 给我们的启发就是，根据硬件设计算法，最终体现为更高效的算法。

8. 算力扩张逼近物理极限

我们再说回算力。既然算力这么重要，我们看到美国各家公司，尤其是 OpenAI，投入了这么多钱，我也很好奇，不知道能不能讲到这个程度，有没有一些数字可以分享？

这更多是一个数量级上的变化。我们自研芯片的单体 3 万卡集群，应该是目前国内最大的国产单体集群，主要就是为了满足现在的需求，而且现在使用得也很充分。我们目前比较先进的模型，都是通过这个集群训练出来的。

3 万卡集群大概是什么概念？现在用起来是绰绰有余，还是捉襟见肘？

这个集群从建起来到全部用上，可能只花了 2、3 个月。

这么短？

这也可以反映出，大家都在等算力。很多创新和实践其实都被算力压抑住了，所以集群建好之后，大家很快就把它用起来了。

百度有 3 万卡集群，那 Meta、OpenAI 和 xAI 的集群大概是什么规模？

他们都比我们大。现在头部几家公司训练最先进模型的集群，大概都在 10 万卡级别。

在 3 万卡集群的状态下，和 10 万卡相比，你觉得差的是 70%，还是 3 万卡和 10 万卡只差 20%，或者其实差了好几倍？

还是我们刚才说的，如果要做模型探索，研究更先进的模型，就得往更大的模型规模走。

所以我觉得，现在算力确实是制约国内外 AI 发展的一个很大因素。由于客观因素，我们拿不到那么多算力。刚才说的 3 万卡也是国产集群，国产卡在性能上和英伟达相比还有一些差距。

这就是国内外的现状。这个差距确实对整个 AI 的发展有一定制约。

做到 3 万卡的时候，电力和物理空间是不是已经开始带来很大的挑战？

对，挑战还是比较大的。

在这个规模下，我们大规模使用了液冷，也使用了长距离 RDMA 技术。原来的 RDMA，网络互联其实是在比较小的规模里做的。当规模达到 3 万卡、10 万卡时，就会有长距离 RDMA，需要更长的距离，里面也要有不同协议和不同扩展拓扑来解决问题。

整体来说，3 万卡现在还可以支持现有的电力和基础设施，但确实已经需要变电站了。原来一栋楼的变电站不够，可能要一个园区的变电站才能支持。这是一个纯新建的系统。

不管怎么说，现在基建速度还是跟不上算力和能源的需求。一方面我们会使用液冷和大规模组网技术，另一方面，老旧数据中心一定满足不了需求。

今天新建的数据中心，可能能满足今天的需求，但到了下一代，我们又需要更高的机柜密度、更高的机房密度，以及更强的供电能力。这些都对基础设施提出了更大的需求。

说到这里，最近在美国，OpenAI 发布这些大合同之后，也出现了一些辩论。很多人说这可能是巨大的浪费，因为它和当年建设光缆这样的基础设施不一样。

光缆建好之后，迭代没有那么快，3 年、5 年甚至 20 年之后，铺设好了就能一直使用。但今天建设数据中心、购买这么多卡，很可能 1 年半之后，甚至半年之后，就会发现从基建到芯片都成了上一个时代的东西，全部被浪费了。

你怎么看现在的迭代速度给基础设施建设带来的影响？

我觉得这取决于大家相不相信这是一轮新的工业革命。

这些卡是拿来干什么的？是拿来支持创新的。有这么多卡，意味着我们能够做更多创新，在语言模型或大模型上解决更多问题。

这就好比蒸汽机发明之后，什么时候能够变成电动机。这个发展需要算力来支持。

在我看来，现在仍然是高速发展的时代。大家可以看到，成果日新月异，而这些成果都是基于算力产生的。

在刚才说的这个范式下，堆出这么多算力，就一定能产生更好的结果。我们只是判断，这个结果到底会让应用价值提升 100 倍，还是提升 10 倍。

它一定不是提升 10% 还是提升 5 倍的区别，结果一定足够显著。我相信 100 倍的提升终归会到来，只是 3 年到来，还是 5 年到来，区别在这里。

如果只是时间尺度的差别，把时间尺度稍微拉长一点看，它就不是大的浪费。

所以你会觉得，这其实不是一个有没有选择的问题？不是建还是不建，而是一定要建。不建就等于拒绝创新。

这是我的观点。建设的本质，就是支持更好的创新，让创新更快速。大家都相信 100 倍的未来会到来，那现在建设的东西，能不能让这个时代更早到来？

区别就在这里。

9. 百舸打造高效算力平台

我们刚才用一句话介绍了一下百舸。如果稍微展开一些，给大家科普一下，百舸到底是一个什么样的产品、系统或平台，你会怎么讲？

百舸从道理上很简单，就是为大家提供最高效的算力平台。

百度做了十几年的 AI，从最早支持内部，到现在百舸同时支持内部和外部。今天，它是一个能够高效服务各种算力需求的基础设施平台。

从特点上讲，我觉得有几个方面。

第一个，它能支持非常大的规模。现在的创新都需要很大的规模，但要搞定底层机房、稳定性、万卡扩展性，以及在上面稳定地训练模型，涉及很多技术栈，需要自己去解决。

我们最大可以支持到万卡规模的单体任务。

第二个理念，是让算力用得很轻松。云是弹性的，而在 GPU 时代，我们提出了“异地、异构、异网”的概念，让算力可以轻松地使用和拼接。

这意味着不同芯片可以用在一起，不同地域的算力可以用在一起，不同网络环境下的算力也可以用在一起，让大家能够把各种高效算力用起来，而且用得很轻松。

第三个理念，是极致的工程效能。现在的创新，比如提升 10% 的性能，可能就意味着少用 10% 的卡。这 10% 的卡，可能对应天文数字的成本投入。

所以，我们在训练、推理引擎上做了非常深入的优化，包括现在强化学习的框架范式，在工程架构上也做了极致优化，让大家享受到最高效的算力基础设施。

百舸最近刚发布了 5.0。我看你们官方介绍时，发现有一个用词非常自信：这是“迄今为止最强大的 AI 计算平台”，连“之一”都没有。

我们聊下来，感觉雁鹏是一个非常务实的工程师。但我很好奇，当初团队要定这样一个霸气的 slogan 时，你是怎么思考的？

更多是因为我们对自己的能力比较有信心。

刚才说过，我们从 2012 年开始做 GPU，服务了大量客户场景，在不断服务客户的过程中提升和积累，形成了现在这套东西。所以我们相信，自己对各种应用场景的理解比较深刻，也比较前沿。

整个百度对 AI 的探索走得比较快，各种前沿应用也是在我们整个平台支持下做起来的。我觉得这是我们最宝贵的财富。

第二，百度对 AI 的投入也非常坚定。大家可以看到，在大模型时代，真正坚定做大模型的公司已经没有那么多了。

百度应该是全栈的。我们有 4 层架构，从芯片、云平台，到模型和应用，做全栈的公司其实很少。我们在这一块也是坚定投入。

在这个基础上，我们既前沿又坚定，所以相信做出来的平台高效、易用，也能够切中大家现在最前沿的研究方向，切实给大家带来价值。

大家一定也会问一个问题：百舸和 AWS、微软、Google，以及阿里云、火山相比，有哪些差异化优势？当选择摆在面前时，选择百舸最大的理由是什么？

第一点，还是百度十几年来坚持的四层架构：从芯片到云平台，再到模型和应用，一体化开发。

在这套理念下，我们进行联合优化，做到极致高效。整个百舸平台从设计第一天起，就具备内外打平的能力。我们服务内部客户，也服务外部客户，在这个基础上沉淀出现在这套能力。

10. 中国芯片重塑全球算力版图

刚才聊到英伟达，我们和它打了那么久交道，看着它从 100 亿美元的公司成长到今天 4 万亿美元的公司。你觉得中国有机会诞生自己的英伟达吗？

也有一种说法是，我们被限制、不能买，反而给了我们发展自己的机会。甚至黄仁勋在美国游说政府时也说，这样做很愚蠢，会倒逼中国发展自己的创新。

我觉得一定会有。

刚才说过，AI 之争是国力之争。不管中国还是美国，都会坚定地向 AI 投入。在现在的竞争格局下，国产芯片一定要做起来。

如果做不起来，在竞争中就会失去命脉。所以这件事一定会做起来。

最重要的前提是什么？我觉得还是芯片要为模型服务。英伟达的强大，就体现在所有最先进的模型都是在英伟达平台上训练出来的。

这已经形成了一个正循环：需要投入很多钱，才能建设最先进的算力平台；算力平台建好，才能训练出最先进的模型；模型天然就和算力平台绑定了。

如果再想切换到另一个算力平台、换一款芯片，难度非常大。因为建设算力基础设施时，肯定会默认选择最好的。你选择了它，在上面做模型创新的成功概率就更大。

模型做出来之后，自然就和芯片绑定了。本质上也是因为软硬件的周期不一样。算法创新可能以几个月为周期，但做一款芯片可能需要好几年。

反过来想，中国要做出自己的英伟达，就必须和模型进行更深入的绑定。这件事的必要条件，就是它要和最先进的模型一起出现。

比如有一天，我们最先进的模型，或者持续保持最先进的模型，都是在国产芯片上做出来的，那么这款国产芯片成功的概率就会非常高。

今天已经看到这样的苗头了吗？在哪里发生？

我觉得这个苗头已经非常显著了。在现在的趋势下，越来越多人开始尝试国产芯片，越来越多的人开始使用国产芯片。

当然，还没有达到刚才说的那种状态，但已经有非常大的进展。比如我们的 3 万卡集群上，已经跑了很多训练任务。

这件事肯定不是一蹴而就的。要让很多训练任务能够在上面运行，从小到大，跑更多任务，等各方面都稳定之后，才能把最前沿的模型推到自研芯片上，或者用自研芯片做出最领先的模型。

雁鹏，再从局内人的视角，给我们分享一下最近硅谷各大巨头在 AI infra 上的动作。你会怎么评价？尤其有哪些动作值得我们借鉴，或者哪些动作可以让他们先去探索、先去踩坑？

最近让我感触比较深的是 Google。

之前大家觉得 Google 是不可撼动的巨头，但 OpenAI 崛起之后，大家感觉 Google 受到的冲击最大，好像从技术领导者的地位一下子落后了。

在很长一段时间里，确实是这样。Google 的模型好像没什么声音，明显落后于 OpenAI。

但最近 Google 好像一下子又回来了，重新站到了前台。刚开始的时候我就觉得，Google 其实拥有最好的禀赋。它应该是全世界最不缺算力的公司，比英伟达还要厉害。

为什么？英伟达还要靠芯片赚钱，但 Google 不靠芯片赚钱。Google 的 TPU 是做得最早、持续时间最长的。今天可以看到，英伟达很多设计其实都在参考 TPU。

TPU 是真正一直贯彻自研芯片的路线。

而且 TPU 也是在杰夫·迪恩的领导和推动下做出来的。杰夫·迪恩真的是一个非常传奇的人物。

大家经常说，杰夫·迪恩不需要编译器。他写的代码，靠眼睛就能发现编译器里的 bug。有很多关于他的传说。据说他现在每周还会自己编程、写代码，确实是工程师界的传奇。

最近 Google 的进展让我们看到，它确实是有后劲的。正是因为 Google 有芯片布局、框架布局。它之前做 TensorFlow，现在内部已经不太使用 TensorFlow 了，而是用了一个更轻量化的框架，叫 JAX，更多在框架侧做工作。

在上面还有 Google Cloud，云平台也比较强，再往上还有自研模型和自己的单体应用。大家突然发现，它过去打好的这套基础仍然是最强大的。

我觉得，这种强大的基础是不容撼动的，体现了它多年来对整个技术栈的积累和投入，最终形成了现在巨大的势能。这是近期让我最震动的一件事。

第二个就是业界非常火的 Meta。它花重金到处招聘，当然引发了很大争议：这些人到底值不值？

从合理性的角度，我觉得是合理的。为什么？Meta 一年现在披露出来要花 1,000 亿美元买 GPU。如果它花 1 亿美元挖一个人，挖 20 个人也才 20 亿美元。和 GPU 的投入相比，这还是小头。

所以从资本投入角度，我觉得是合理的。人员工资已经不是里面的大头。

但从健康的角度，肯定是不健康的。我不太看好这种模式。一个团队不是靠临时拼凑就能形成的，还是需要相对稳定的团队，有创新文化，在这个基础上碰撞出更多火花，支持持续创新。

所以这反映出 Meta 之前可能在团队建设上出现了一些问题。它之前做 Llama 也投入了大量算力，其实一直不缺 GPU，但团队建设和人员配置可能出了问题，导致它做得没有那么好。

当然，OpenAI 更多是在推动一个大泡沫向前走，也可以说它更高瞻远瞩，更有未来 vision。你会发现它的很多东西都是上杠杆的。

刚才说 Google 是在打基础，所以它的地基非常牢，长出来的东西也更扎实。但 OpenAI 这一套，是以未来的杠杆去做预期对冲。我觉得它比较大胆，但这套逻辑是成立的，其中一部分可能会兑现。

它会带动大家做更大的变革，推动更深层次的基础设施变革，增加对这一方面的投入。如果我们真的需要这些东西，基建就需要更超前的投入。

我们刚才讲过一个很重要的观念：每一层的投入周期不一样。软件和算法创新最快，可能几个月就能做出新东西；做一款芯片可能要 2 年；电力基础设施的变革可能需要 10 年、几十年。

如果相信未来是这样的，就需要把更长远的东西提起来。无论把它叫作泡沫，还是推动未来的 vision，都需要推动这件事。我觉得这是 OpenAI 正在走的一条路。

我们聊了一些大公司。今天也有一些创业公司，想做 AI infra，不管是算力调度还是模型加速。你觉得 AI infra 领域还有哪些创业机会？

我觉得 AI infra 这个方向肯定还是有机会的，因为算力需求会非常大，也非常多样化。

它有一个特点：需求会很多。整个计算生态从 CPU 迁移到 GPU，算力还翻了那么多倍，需求肯定存在。

第二，软件栈确实非常复杂。CPU 相对比较标准化，但 GPU 针对每一个模型、每一款芯片、每一个规模，无论是万卡还是 10 万卡，都会有很多不同的优化点和实现方式，差异非常大。

所以整个软件栈非常深、非常多。最终大家看到的每个模型、每个场景的效果，都会有很大差异。这意味着技术门槛和空间都存在。

技术优化得好不好，对最终算力效率会有很大影响，所以我觉得需求是存在的。

但创业的另一个方面，是有没有差异化。我觉得这对 AI infra 来说比较难，因为现在 AI infra 创业公司的产品，和云厂商高度重合。无论商业模式还是技术手段，几乎都没有差别。

如果给你 1,000 万美元，让你做早期投资，可以投中国或美国的 AI infrastructure 创业公司，你有想投的吗？

我还没有特别看好哪一家，说一定想投它。

所以你会觉得，在 AI infra 领域创业还是挺不容易的。

我的个人观点是，这个方向有机会，但在这个方向上可能做不出巨头。更多是针对某一类客户、某一类场景，做得相对细分一些，深入下去，提供特殊价值。这种机会大概率是存在的。

11. 基础设施需要长期主义

我们再聊一下个人职业相关的事情。我们知道雁鹏一入行就一直做 infra，但在一些工程师看来，做 infra 是一个很枯燥的选择，反馈周期长，很难得到正反馈，坚持也不容易。

想请你讲一讲，做 infra 这么多年，在职业上有哪些感受？因为十字路口这个节目，很多朋友也希望听到，站在职业十字路口时应该怎么做选择，有哪些故事或建议。

做基础设施，常听到的一种说法是，很容易做成运维，在公司里变成各种打杂，解决稳定性问题。凡是稳定，大家觉得理所当然；凡是宕机，大家觉得是天大的罪过。

所以你要么不出现在大家的讨论范围里，要么一出现就是大家开始骂你，游街示众。你只能在这两个场景出现，当然会遇到很大挑战。

但实话说，从我个人的职业经历来讲，好像没有太遇到这种情况。我想了想，是因为我们很早就来到百度，当时做的是一件创新的事情：建设大规模基础设施，目标也很明确，就是大规模降低成本。

当时如果购买商用服务器，和自研服务器相比，成本可能差一倍。我的使命就是把这个成本降下来。完成这个使命之后，自然就能创造比较大的价值。

所以第一个问题的答案是，做基础设施，还是要有一个大的平台。我觉得这是第一点。在小平台里，很容易变成刚才说的运维工程师，而且还要什么都懂。

技术栈很复杂。今天解决存储问题，明天解决计算问题，再解决操作系统问题，每个领域的问题都很深，最后就会杂而不精。杂而不精，解决问题很累，也没有太多个人价值创造。

这映射到今天做算法创新也是一样的。我仍然认为，要做大模型创新，除了我们刚才说的下一代范式创新可以在科研院所做之外，想做大的创新，还是要选择头部公司。

头部公司要有足够资源支撑创新，这一点尤其重要。我们当年可能还不一样，那时还有很多人做互联网创业，几个人有一个想法，做一个 App、做一个网站，也可能做起来。

但现在是技术驱动的创新范式，更需要在职业生涯早期就拥有一个大平台。我觉得这是非常重要的前提。

另一个维度是客户在哪里。做基础设施创新，一定不是自己单独创新，而是要拉着上面的业务方，可能是算法团队，也可能是应用团队，和你一起创新、一起落地。

如果在一家纯芯片公司或硬件公司，可能来得更快，自己和业务紧密结合。我们早期有很多创新，是和搜索业务一起做的。搜索团队当时需求量最大。

比如早期大家都用硬盘，我们很早就自研 SSD。那时候用 SSD 的还非常少，但我们做出来之后，对它的需求非常明确，价值创造也非常明确。做出来之后，很快就能应用到业务场景，项目也能很快推进成功。

反过来，如果当时我在一家 SaaS 公司里，很难做出这个东西。因为做出来之后，还要找客户，客户还要决定用不用，还要想办法把它放进服务器里，整个周期会非常长。

所以第二个关键条件，就是缩短路径，去做创新，并且及时得到项目成果。

百度有一个最高奖，标准是奖励 10 人以下的小团队做出超预期的价值，奖金是 100 万美元，是一个非常重大的奖项。对百度工程师来说，这应该是非常追求的奖项。

我们在职业经历中得到过很多次最高奖，不止一次，是很多个 100 万人民币的奖项。10 人以内的小团队，分 100 万人民币。

其中有些是我们团队主导的，更多的是和业务团队合作，比如搜索团队、NLP 团队、语音团队和视觉团队。

我想说的是，这在我看来就是比较好的创新典范：我有很好的点子，有很强的创新意愿，业务方也有很强的合作意愿，大家能够产生合作火花。

如果在大公司里一层层分工，或者用一个很大的团队合作，可能要调动几百人，最后能不能把创新落地都不一定。但在高效反馈的环境里，10 人的团队就能做出很多创新结果。

第三点，我们刚才说找到了发力方向，也能和上层业务一起做联合创新。但软硬件本质上不同，周期也不同。建设一个机房、搭建一个集群，时间很长；开发一块芯片，周期更长；软件创新则会快得多。

所以整体来说，做 infra 的反馈周期还是会比做应用和算法慢，这是天然存在的事情。

但从另外一个视角看，这一块更需要积累，更需要长时间耕耘。你对基础架构的了解更深，对体系结构的了解更深，有点像大家练内功。就像有 70 年内力一样，这种内力会慢慢内化到你的很多能力里。

如果大家要在 infra 上做长期发展，就要做好长期发展的准备，对整个计算机体系结构有全面了解。只有了解这些东西，才有可能做出更不一样的东西。

当然，现在有一个大趋势。我们刚才说，在大模型时代，infra 和算法会深度融合，尤其是在大模型预训练范式下。

现在可以把大模型大致分成两个阶段：一个是预训练，一个是后训练。预训练是构建强大的基座模型，后训练则是做更强的场景定制化，以强化学习等范式为代表。

在预训练阶段，我想说的是，infra 的同学和算法的同学应该深度融合。以前可能会说，不懂 infra 的算法工程师不是一个好算法工程师，不懂算法的 infra 工程师也不是一个好 infra 工程师。

但我现在越来越看到，这两个团队可能要融合在一起，甚至变成一个团队。团队里的每个人都既懂算法，又懂 infra，这样设计出来的东西才能成为更好的预训练模型。

预训练现在要解决的是扩展性问题，以及模型架构是否高效的问题。你从第一天设计模型时，就需要既懂算法、又懂 infra，还能高效实现算子的人。否则你怎么判断自己的设计是否高效？

原来跨学科可能只是锦上添花，现在已经变成了，如果不会，你在竞争中可能就直接输了，设计不出好的预训练模型。

预训练模型决定了最终模型架构的扩展程度和成本。现在最重要的竞争要素，很大程度上可能就在算力链上。

在百度会怎么通过组织调整或人才激励，让算法和 infra 两个团队更好地融合，或者招到更复合的人才？

首先，我觉得现在的趋势已经非常明显。现在算法团队里就有 infra 的人，这些人也在做 transfer，双方已经存在互相影响。

或者说，我搭建一个算法团队时，从第一天成立这个团队开始，就需要有一部分算法人员和一部分 infra 人员。这和以前做算法非常不一样。

现在新成立的、真正想做大模型创业的公司也是这样。比如新出现的 thinking machine 等公司，第一天就会招算法和 infra 的人。

所以这件事已经发生了，大家现在就是这么做的。

第二，如何让他们工作得更紧密？本质上还是要有创新力。为什么我们又回到人才这个话题？为什么现在顶尖人才这么贵？就是因为他们有创新力。

有创新力的人，第一天做算法时就会了解 infra；做 infra 的人也会对算法有足够了解。大家碰在一起，就能产生更多火花，设计出更好的东西。

我比较欣喜地看到，现在刚从大学毕业的人，在这个时代环境的熏陶下，全栈能力天然比我们当年更强。他可以从应用做到算法，再做到 infra 和基础架构，都有所了解。

优秀的、talented 的学生都会了解这些。他们有这种 sense，也有想法和创新力，一定能做出更好的成果。

如果要对大家说一句话，我觉得这真的是一个很美妙的时代。大家应该更好地融会贯通，打通技术栈，去了解这些东西。其实它也没有那么复杂。

当你真正想学习这些东西、掌握它的精髓时，也没有那么复杂。掌握从应用到算法再到架构的全栈能力，一定会让你的职业道路有更好的发展。