在首尔举办的第31届操作系统原理研讨会上,阿里云推出的Aegaeon计算池化解决方案获大会收录。该研究针对AI模型服务中存在的GPU资源浪费问题,提出了创新性解决路径。
目前云服务商普遍面临算力利用失衡的挑战。以阿里云模型市场为例,17.7%的GPU算力仅处理1.35%的请求,资源闲置现象突出。Aegaeon系统通过GPU资源池化技术,实现单个GPU动态服务多个AI模型,成功打破传统绑定模式。
经过三个月测试,该系统在服务720亿参数大模型时,将所需H20 GPU数量从1192个降至213个,降幅达82%。这项由北京大学与阿里云合作的研究,为行业提供了全新的优化方案。
免责声明:本文内容由开放的智能模型自动生成,仅供参考。