阿里巴巴开源视频生成模型「通义万相 Wan2.2」,此次共开源文生视频(Wan2.2-T2V-A14B)、图生视频(Wan2.2-I2V-A14B)和统一视频生成(Wan2.2-IT2V-5B)三款模型。其中文生视频模型和图生视频模型均为业界首个使用 MoE 架构的视频生成模型,总参数量为 27B,激活参数 14B。
此次升级版本中,通义万相 2.2 首创「电影美学控制系统」,光影、色彩、构图、微表情等能力媲美专业电影水平。例如,用户输入「黄昏」、「柔光」、「边缘光」、「暖色调」「中心构图」等关键词,模型可自动生成金色的落日余晖浪漫画面;使用「冷色调」、「硬光」、「平衡图」、「低角度」的组合,则可生成接近科幻片的画面效果。
通义万相 2.2 在视频生成扩散模型中引入 MoE 架构,有效解决视频生成处理 Token 过长导致的计算资源消耗大问题。Wan2.2-T2V-A14B、Wan2.2-I2V-A14B 两款模型均由高噪声专家模型和低噪专家模型组成,分别负责视频的整体布局和细节完善。在同参数规模下,可节省约 50% 的计算资源消耗。模型在复杂运动生成、人物交互、美学表达、复杂运动等维度上取得显著提升。
通义万相开源了一款 5B 小尺寸的统一视频生成模型,单一模型同时支持文生视频和图生视频,可在消费级显卡部署。该模型采用高压缩率 3D VAE 架构,时间与空间压缩比达到 4×16×16,信息压缩率提升至 64,实现开源模型的最高水平。仅需 22G 显存即可在数分钟内生成 5 秒高清视频,是目前 24 帧每秒、720P 像素级的生成速度最快的基础模型。
自今年 2 月以来,通义万相已连续开源文生视频、图生视频、首尾帧生视频和全能编辑等多款模型,在开源社区的下载量已超 500 万。
免责声明:本文内容由开放的智能模型自动生成,仅供参考。