AI基础设施的真实市场需求如何？高质量Token设施到底该怎么建？

文｜赵艳秋

编｜牛慧

“现在你有多少高质量Token，就能卖多少。”一位百度资深人士告诉数智前线。全球互联网大厂投入万亿以上美元疯狂扩建基础设施，芯片、存储、光通信等企业股价数月内涨了数倍。

但狂奔的另一面是过剩的焦虑。7月初，市场传出Meta筹备云计算业务、为未来可能闲置的算力规划出售的消息后，相关板块一度蒸发数千亿美元市值。但仅仅几天后，Meta宣布投资约91亿美元建设其加拿大首个AI数据中心、也是美国以外最大数据中心之一。资深人士告诉数智前线，“它一定要建，现在谁不建谁就落后”，但没人能精确预判一两年后的真实需求，因此Meta采取了对冲策略。

这两种有些矛盾的境况，都指向同一个问题：AI基础设施的真实市场需求如何？高质量Token设施到底该怎么建？7月9日在北京举办的2026开放计算大会上，产业链上下游围绕这个问题，释放出一系列新信号。

01

多智能体和多模型融合，改变了建设逻辑

如果说“建不建”是策略、资本层面的博弈，那么“怎么建”首先要从需求侧的变化里找。今年上半年，AI应用市场出现了三个不同以往的新动向：

动向一：AI coding跑通商业模式，通用助手将用户群从千万级扩展到亿级，Token生产需求爆发。业内估算，AI coding目前占了整个模型token消耗量的70%~90%以上，且在未来两三年不会有太大变化，这是第一个跑通商业化的大模型技术。

国内大厂在加码AI coding，“下半年，竞争节奏会越来越快”。在此基础上，今年初大厂纷纷推出通用助手，就像Anthropic的Coworker那样，其底层依靠的仍是coding，但覆盖人群从国内3000万代码工程师，向数亿电脑用户拓展。

AI coding调用的往往是参数量最大的旗舰模型，对延迟敏感，当用户规模从千万级冲向亿级，要考虑怎么把最强模型推理成本降下来，稳定服务数亿人。本质上， AI基础设施需要开始从"提供GPU算力"转向"持续生产高质量Token"。

动向二：多智能体进入高增长期，这是传统Scaling law之外，提升模型智力水平的道路。从豆包、Kimi，到腾讯今年推出的通用助手WorkBuddy，背后都是由跨多个领域、数百个专家Agent构成。

打开Kimi就能感受到这种变化，同样是策划团建，单Agent版本常有场地停业、预算超支等疏漏，多Agent版本会拉起几十个Agent交叉核查场地、交通、预算，方案明显更可靠。

Kimi创始人兼CEO杨植麟表示，一旦大模型智能达到某个阈值，多智能体系统将成为扩展性能的关键途径。Agent集群通过工程化手段，在不改变底层模型能力的前提下，提升任务复杂度和输出质量，K2.6已支持300多个Agent协同工作。Anthropic去年也披露了类似架构：用Opus 4做“主Agent”、派生多个Sonnet 4“子Agent”并行探索，用户搜索性能比单一Opus 4提升90.2%，但token消耗量也达到普通对话的15倍，本质是“用算力换质量”。

不仅是单一模型和应用使用多Agent提升token输出质量，个人和企业会使用越来越多的Agent。IDC数据显示，2025年-2028年，总体Agent年复合增长率将超过110%；Gartner预测，2026年将有40%企业应用集成Agent。Agent数量爆发式增长，意味着调用规模、并发压力和资源消耗，都远超从前单模型问答的量级。

动向三：多模型融合成为提高token质量的另一条新路。以往人们看重单一模型能力，但浪潮信息副总经理赵帅介绍，新的实践表明，AI系统正从单模型走向多模型协同工作，它的输出比单一模型具备更高智能能力。

浪潮信息内部做了多模型融合（AI Fusion）实践验证：一次调用任务并行分发给多个候选模型，再由评审模型完成共识提炼、差异识别、遗漏补全与结果融合。测试数据显示，融合模型在深度研究测试中以53.9%的成绩夺冠；在AIME2026数学推理和GPQA Diamond高难问答两项评测上，全面领先单一模型。

赵帅进一步补充，“多模型融合”不是把每一个任务都交给一堆模型去跑，它按难度分级路由，简单问答交给推理好、速度快的模型，代码辅助、复杂逻辑交给融合模型。以一份市场洞察报告为例，图片OCR识别采用几十亿参数小模型，企业内部RAG检索交给千亿模型归纳，最后汇总十几个信息源生成完整报告，才启动万亿参数模型。

“如果说上一阶段的竞争是单一模型的能力竞赛，下一阶段AI进入千行百业，需要的是多模型融合，多Agent的‘群智协同’，来输出更高质量的Token。”赵帅总结。

02

AI基础设施开始同步重构

多模融合、多智能体带来的“群智协同”，也在重塑AI基础设施的结构。

以往GPU和CPU泾渭分明，GPU做训练推理，CPU做云数智业务。但赵帅发现，今年业界必须要把两者结合起来，原因是“Agent一定是运行在CPU之上的”。

“Agent是为解决任务而生，不只需要推理，还需要做任务拆解、编排、工具调用、执行、记忆管理，这些都要运行在CPU上。”阿里云首席云服务器架构师陈健介绍，“CPU的重要性又重新回归，我们进入到CPU、GPU协同时代。”

一个佐证是，今年全球大厂都在加码CPU通用算力，微软自研通用服务器CPU，谷歌与英特尔扩大合作，英特尔、AMD服务器CPU供应紧张、涨价、交期拉长。

新的分工也在形成中：GPU负责“思考”，源源不断提供Token；CPU负责“行动”，承载Agent调度编排、工具调用、沙箱运行，让成百上千Agent有序工作。但这也带来挑战，CPU的Agent集群和GPU推理集群怎么匹配、连接、共享存储？这可能要让Agent集群更靠近GPU集群，重构AI基础设施的部署逻辑，这甚至涉及“东数西算”的重新规划——以往GPU放西部、业务放东部靠近用户即可，未来“这样做是不够的”。

包括Agent编排、模型路由，这也是大家要解决的新问题。TiDB副总裁刘松曾分析，未来两三年会有“十亿数量级的智能体在跑”，如果记忆、上下文共享、编排系统跟不上，多智能体不但没能减负，反而会制造新瓶颈。“有了AI Coding以后，工程师反而更忙，因为每个人都变成了上下文的搬运工。”这也是国内互联网公司新应用整体提效接近10倍，但私有部署等场景中，“整体提效难超20%的原因之一。

这种协同也体现在物理指标上。海外GPU兆瓦级机柜已是“事实产品标准，批量化供应”，国内今年底GPU单柜300千瓦也成定局，若CPU还是单柜5千瓦、10千瓦的老规格，根本无法匹配整个智算中心的基础设施。

这也是行业开始出现新规格CPU服务器机柜的原因，如浪潮信息推出单柜支持384颗通用处理器、功耗最大支持MW级的CPU原生液冷方案，让CPU侧算力密度追上GPU侧供电散热标准，两套设施拉齐后才能统一调用、统一共享，可支持4万+Agent高并发运行。

在GPU这一端，“多模融合”（Fusion AI）从去年“多个万亿大模型放到一个机器里同时用”的设想，现在已是可落地方案，带动超节点AI服务器的火爆落地。

庆虹电子产品总监陈宣豪介绍，超节点卡数“今年以及未来，甚至到达千卡以上”。赵帅介绍，浪潮信息去年发布的元脑SD200超节点AI服务器，具备4TB统一显存，可同时承载4个万亿参数大模型或几十个小参数量模型，按需组合切换；今年发布的元脑SD200超节点企业版支持16卡，可降低企业应用万亿参数模型的算力门槛。“现在AI Coding查安全漏洞、写代码，就是万亿参数大模型带来的价值，效率绝对比用千亿大模型好。”

除了CPU和GPU的协同，OpenAI、DeepSeek等模型企业纷纷自研ASIC专用芯片。浪潮信息相关技术专家介绍，三年前提出的“融合架构”是一项通用技术，核心是通过一套高速互联架构把CPU、GPU、内存、SSD等都互联起来，“芯片只是一个计算单元”。而且，未来Token生产会拆分得越来越细，Prefill环节用超扩展架构，Decode环节用超节点架构，内部再按Attention、FFN进一步拆分匹配不同芯片，“这部分目前是在跟模型厂商、芯片厂商在做联合共创”。

一个例子是软硬件联合创新的收益：元脑SD200上，Kimi K2.6万亿参数模型单Token生成时间快达4.77ms，是首个进入5ms大关的案例。

“群智协同”能否进一步降低产业化成本、给客户输出更大价值，仍是下一步要应对的方向。”赵帅说，要持续调整硬件基础设施的互联、配比、内存、延时，让一切都可组合、可连接、可共享。“这是计算机体系架构最迷人的地方。”

这些本质上都离不开融合架构底层技术的支撑，而所有在发生的基础设施变革，指向一个更大的命题，GW级智算中心的到来。

03

吉瓦级智算中心，基础设施的下一个战场

当Token需求持续增长、Agent数量持续增加、多模型融合不断深化，AI基础设施最终走向的是更高密度、更高功率、更高系统效率的吉瓦级智算中心。

吉瓦级智算中心，是本次开放计算大会的一个热点，相关技术分论坛极为火爆。

“因为有了兆瓦级机柜，才有了吉瓦级智算中心，或者讲因为应用需要吉瓦级智算中心，才萌生了兆瓦级机柜。”赵帅说。驱动力来自大模型训练规模的膨胀，AI大模型的训练万卡不够了，需要十万卡、几十万卡，当每卡功耗达到2000瓦时，基本上就要吉瓦级智算中心了，现有数据中心都无法承载，必须新建。

为了应对重构的全方位挑战，去年OCTC成立了GW-Scale Open AIDC工作组，并在今年的大会上正式发布业界首个《GW-Scale Open AIDC框架技术报告》，系统定义GW级开放智算中心全栈路径。

这场变革首先冲击的是供电基础设施。赵帅告诉数智前线，兆瓦级机柜最显著的特征就是供电链路和设施发生巨大改变，需要用800V高压直接进机柜。以往380V进机柜，单柜能支撑40-50千瓦，到几百千瓦时铜缆已粗到无法施工，而高电压可以解决小电流、细电缆的困境。链路也随之简化，800V直接进机房、进机柜，“只有这样才能构建出一个高效率、能运行的吉瓦级的数据中心”。

伟创力谢玮进一步介绍，“我们现在看到的一些新需求，是有真正1兆瓦级别的机柜出现。”当功率突破1兆瓦，单机柜已容不下电源，供电转换开始从主架构中剥离，出现了Sidecar旁路电源机柜。但高压化之后，之前48V从安规角度是人可触摸的低电压，而“800V是一个高压，危险电压”，绝缘、安全性、抗干扰都提出更高要求。“48V生态历经二三十年才成熟，而800V生态是早期建立的”，需要产业链协同推进。

散热同样面临重构。谢玮观察到，从250千瓦过渡到500千瓦之后，液冷已经占据主要方式；中航光电产品经理李进宝认为，随着XPU功耗和整机柜功率持续提升，液冷将走向原生系统设计。赵帅认为，未来数据中心里“单机柜90%甚至100%都要通过液冷来散热”，同时机房本身需大风墙配合整排机柜散热，这正是吉瓦级开放智算中心白皮书里重点阐述的发展方向。

互连层面同样在演进。字节跳动服务器架构师高晓军预计，未来2-3年XPU功耗将达2000-3000瓦级别，“在Scale-up引入光互连是一个必要的事”；UALink联盟与CXL联盟董事会成员Chris Petersen则认为，MoE模型和大规模XPU集群带来的集合通信压力，正成为算力释放的瓶颈。铜互连与光互连也在围绕距离、功耗、密度形成分层协同。庆虹电子陈宣豪认为铜互连仍将长期承担机柜内连接的基础作用，立讯技术彭小伟则判断，光电热一体化设计会是突破通信瓶颈的重要方向。

总体而言，这次开放计算大会释放的信号很清晰：AI Coding、多Agent协同、多模型融合等应用新趋势，正在倒逼AI基础设施进入系统性重构阶段。CPU与GPU从分工走向协同，超节点从概念走向规模落地，GW级智算中心加速成为产业新方向。

这三个信号，都在解决高质量Token的紧缺问题。由于承载它的基础设施本身在被重新建造，正如与会人士所言，如今市场百花齐放，各家方案各有千秋，只有通过开放协同，才能让高速互连、供电、散热等底层技术真正形成合力，支撑起Agent基础设施的快速落地。（联系作者可加微信：helloabc7，注明公司与职位）