这是一段文本。
由于AI应用更广泛落地、DeepSeek爆火,以及海外AI算力供应链不确定性增加,国内市场对于AI算力的认知已发生明显转向,中国AI基建迎来2.0版本:混合AI算力时代。
多重因素叠加,让更多的算力需求正明确向推理场景集中,国产芯片多有上桌潜力。
有媒体报道,目前在某些业务场景中,推理的算力需求占比甚至已达80%。由于推理场景对GPU峰值性能的要求相对较低,这意味着更多规格的国产GPU已具备支持大模型应用的能力,存量海外AI芯片与国产芯片混合部署,将成为企业AI算力新常态。
因此,跨芯片的算力管理需求也更加迫切。
某头部证券公司AI负责人坦言:“我们的数百张GPU卡,实际利用率不足30%,但业务部门仍在不断要求扩容。”其背后的原因是:传统物理卡部署模式下,同一个GPU集群难以跨场景满足需求,导致历史囤积在某一需求侧的算力资源闲置,而另一个新崛起的需求侧算力资源匮乏。
再加上,不同类型芯片具有不同的技术架构,海外芯片+国产芯片混合部署成为新常态,更凸显了跨芯片算力管理的需求。
这种背景下,行业需要的往往不是更多的算力供给,而是一个能精准调度现有资源的“算力分发工具”。
而所有捕捉到这一认知转向的厂商中,京东云的思路尤为清晰。
目前,京东云已推出的vGPU AI算力平台,采用GPU算力池化技术和异构算力统一管理方案,形成全栈自研算力平台,直指算力调度的效能优化。这一架构聚焦目前智能算力市场的三大困境:GPU资源空转闲置、异构资源管理困难、安全和性能难以兼得。
构思这样一套的整体解决方案并不难,难在落地实现。京东云当前所拥有的落地经验,背后是因为京东自身早已面对过算力调度效能低下的“切肤之痛”。
01、真实需求,往往最先来自内部
早在2023年,京东云vGPU AI算力平台就已在内部布局,并将相关方案推向外部。
根据京东云对外发布的资料,2023年5月,京东云已经推出GPU算力切分、融合算力弹性输出等解决方案,面向政务、国企、金融,医疗,教育等场景。显然,这些方案只有得到过内部验证才会推向市场。
几个月后,这些方案对外有了更清晰的描述:“在原有支持混合多云CPU+GPU异构算力池化能力基础上,针对大模型场景,支持训练+微调+推理混合部署,进一步增加了针对AI应用所需的调度管理能力,提供一站式算力池化解决方案,算力利用率提升70%,全面推动大模型应用落地降本增效。”
这已经十分接近京东云现有的算力池化异构方案,更关键在于,“降本增效”、“大模型场景”的背后,是2023当年京东自己面临的两重处境。
其一,2023年京东自身也在注重降本增效,提升算力资源的利用率,自然也会是降本增效的一环。其二,2023年是国内大模型元年,在保持降本增效的基础上,京东云也需要即时针对各种大模型的部署做出适配方案。
切身体会过客户的痛点,对外合作推进也会更加顺利。截止到2024年底,京东云vGPU AI算力平台已经落地多个标杆案例,其中就不乏华夏基金、某头部证券公司等客户。
而到了 2025 年,京东云由内向外发掘到的需求,变成了整个行业的共同诉求。
在今年AI应用更广泛落地的背景之下,算力在推理阶段的需求持续增加。根据此前 IDC 的最新数据,预计在 2025 年,用于推理的工作负载的芯片将进一步增加到 67% 。而在一些特定场景中,这一需求比例甚至会达到 80% 。
与此同时目前在芯片市场,全球AI芯片行业仍然由英伟达掌握主要市场份额。根据摩根斯坦利分析,2024年全球生产的AI芯片晶圆中,英伟达占到51%,预计2025年将达到77% 。
但海外AI算力供应链不确定性依然在加剧,推理场景对GPU峰值性能的要求相对较低,这使得国产芯片更具上桌资格。于国内企业而言,芯片混合部署成为新常态。
另一方面,DeepSeek爆火进一步助推了算力向推理场景转移,随之而来的则是能够提升算力利用率的智算软硬一体相关的产品也“一夜爆火”。
但无论是算力向推理场景转移、芯片混合部署,还是企业提升算力利用率的需求,亦或者智算软硬一体方案这些产品,就像京东云早在2023年就已捕捉并布局一样,这些情况其实一直存在,只是DeepSeek成了催化剂。
智算软硬一体解决方案已成为算力管理的整体趋势,而在这一赛道的各种硬件类厂商和互联网云厂,各有其优势。
对于硬件厂商来说,智算方案的核心支撑无疑是硬件一体机,而像浪潮信息、新华三等硬件厂,算是最早抢占一体机“红利风口”的主角。至于互联网云厂商,它们的王牌,则是自身强大的软件平台和完善的生态系统。
更进一步而言,仅看互联网云厂,京东云的优势算是一枝独秀的一类。相比起较小的软件厂,京东云背靠集团资源,无技术断供风险,支持“硬件+软件+运维”全栈服务;而比起其他互联网云厂商,相较于他们只支持将vGPU与其他诸多系统能力打包整体输出,京东云支持独立输出、无绑定云底座的架构,满足私有化与混合部署需求。
依靠自身对于场景痛点理解和解决经验的积累,京东云精准锚定了算力管理解决方案这一战略高地。
02、技术进化,每个迭代都有意义
“在降本增效的同时部署大模型”,京东云vGPU AI算力平台的技术架构有自己的思考路径。
针对算力资源浪费这一核心问题,一般来讲首先需要将物理GPU的算力池化,切成小份后放到一个池子中再进行按需分配。然而事实上,GPU算力池化本身的难点也在于,切分时的粒度粗造成资源浪费。
比如每个池化后的GPU都会占据物理GPU一定比例(通常是10%以上)的算力,当任务所需的GPU算力低于10%时,池化GPU本身的算力损耗都会超过任务所需,这非但没有降本增效,甚至加重了算力负担。常规操作系统层面的GPU算力池化算法通常只能实现粗颗粒度的虚拟化,导致适得其反的情况很容易出现。
而京东云凭借自己的GPU算力切分技术,以内核级1%算力和MB级显存的细粒度切分与池化能力,将单卡分割为多个虚拟实例,实现了资源的动态分配。
落地到业务层面,这一技术已明确产生效能提升。京东云合作的华夏基金将物理GPU资源进行了细粒度的切分,使得华夏基金的GPU利用率最高提升了70%,大幅降低大模型推理成本。
另一方面,不同类型芯片混合部署后,由于不同厂商的GPU或国产芯片在架构、指令集、通信库等方面存在显著差异,导致异构设备间协同困难。例如,英伟达GPU与国产芯片的通信库无法直接互通,需通过CPU中转或定制中间层适配,这增加了开发成本并可能引入性能损耗。
但京东云能够提供多元异构算力资源的统一管理,有效屏蔽异构算力复杂性,并兼容国内外主流深度学习AI框架,帮助客户快速构建面向大模型的训推一体化高性能基础设施,降低运维复杂度。
据《新立场》了解,某知名证券公司原有集群GPU资源分散,整体利用率长期徘徊在25%。部署京东云vGPU AI算力平台后,推理任务资源满足率从65%提升至98%。
除了上述核心技术层面的解决方案,京东云着重打磨的更多细节,以及一系列生产级产品化的叠加和补充措施,非常值得关注。
在基础性能层面,如何尽可能提高整体的系统吞吐量和并发数;在模型调度层面,如何针对各个大模型技术特点进行有针对性的优化;在模型架构、计算策略和资源管理等方面,MOE、MTP、专家并行、MRA等策略如何能有更好的发挥空间;如何在部署层面,满足不同客户的需求……京东云都有自己的答案。
比如京东云的全栈自研算力平台,通过内核态拦截和推理引擎加速,内核驱动级优化提升了单台服务器推理性能的50% 。
又如,京东云提供了五种全场景大模型部署模式,包括云端部署、边缘部署、混合部署、本地部署和定制化部署。
再者,针对企业都会关心的安全问题,京东云借助AI全密态机密容器能力,确保模型参数与训练数据双域零泄露,为用户提供金融级安全防护。
能将真实场景的需求理解得如此透彻,源于京东云早已落地多个金融领域标杆案例提供的底气。而金融,恰恰是对数据安全等方面最敏感的领域之一。
03、联动生态,保持业务场景敏锐
如前文所言,金融是对数据安全等方面最敏感的领域之一,长期服务高标准,为京东云锻造出成熟的技术。
据悉,除了上述所说的华夏基金及某知名证券公司,京东云已继续中标其他金融领域客户。
金融数据涵盖账户详情、交易流水、风险测评及信用档案等高度敏感信息。其安全直接关乎客户隐私保护和金融资产安全,更关系到整个金融系统的稳定与发展。据调研,企业一旦发生数据泄露,其会损失高达数倍于用户的预期补偿。
安全需求与金融企业的生存逻辑深度绑定,京东云长期沉浸在这样的需求强度之下,对金融场景也已有了不少积累,而这样的服务能力也足以服务金融以外的其他领域,能源、交通行业的服务也更容易水到渠成。
另一方面,目前来看DeepSeek带起的智算解决方案热潮,让市场认知拉通已基本完成,客户需求开始回归更本质的层面。
此前有其他媒体分享,在这段时间市场爆发之下,客户在选择智算软硬一体解决方案上具有选择困难:满血版还是蒸馏版?后续选择什么样的芯片?推理场景的算力需要占比到多少?
还有部分服务乱象:有厂家售卖的所谓一体机,只是“计算平台+推理框架+预装大模型”,没有智能体平台和操作界面,仍是开发机;有的厂家打着满血版的名义,却给客户部署蒸馏的模型;有厂家四处东拼西凑出一体机,交付时却不负责匹配场景;甚至有些服务团队并不理解业务场景,即使有心完整服务,项目落地时,客户也容易一头雾水。
在这种情况下,客户需要的不止技术性能,还有服务团队服务的完整性,以及对业务场景的理解能力。
而前文也提到,京东云做智算平台原本就是来自内生需求,其更能理解降低客户理解产品成本的重要性,目前京东云已经提供从模型开发到部署的一站式服务。
京东云vGPU AI算力平台的“模型广场”已集成DeepSeek 等多类大模型,企业可快速调用适配自身场景的AI能力,避免从零开发的重投入。
而不止外部大模型,京东基于内部场景研发的言犀大模型,擅长把供应链做透,适配于知识密集型、任务型产业场景;另外还有今年3月对外开源的京东健康医疗领域的大模型“京医千询”,该模型已经实现了在医疗健康行业的规模化、全场景落地应用。
在模型层面京东就已对业务场景充分吃透,当这些模型集成到京东云vGPU AI算力平台上时,京东云本身也在联动京东生态,以保持敏感能够更好服务客户。
从“样板间”到“商品房”,平台只要一直联动背后的京东生态,就会一直保持对业务场景的敏锐。
04、写在最后
如同亚马逊AWS从内部需求孵化出云计算帝国,京东云vGPU AI算力平台的诞生亦是“自我验证”的必然。
京东云的真正优势,在于将自身业务的高复杂度转化为行业解决方案的普适性,京东云的故事,或许正是中国算力突围的缩影。
京东云vGPU AI算力平台通过统一调度、细粒度切割与自主可控,为行业提供了从“ survival”(生存)到“thrive”(繁荣)的路径,随着国产芯片性能提升与大模型更广泛地落地应用,京东云正从“技术供应商”迈向“生态规则制定者”。
此时我们不免回想起1月份让英伟达暴跌的那个周一,彼时就有分析师认为,DeepSeek的爆火并非做空英伟达,而是放大了市场对于唯芯片论的分歧。
典型如京东云,算力管理提升利用率的思路一直存在,而DeepSeek这条鲶鱼让其成为提前踩中趋势的角色。
特别声明:本文为合作媒体授权DoNews专栏转载,文章版权归原作者及原出处所有。文章系作者个人观点,不代表DoNews专栏的立场,转载请联系原作者及原出处获取授权。(有任何疑问都请联系idonews@donews.com)