蚂蚁集团与inclusion AI合作，推出可处理图像、文本、音频和视频的多模态模型 Ming-Omni。

Ming-Omni通过专用编码器从不同模态中提取 tokens，并由配备模态专用路由器的MoE架构Ling进行处理。这种设计允许单一模型在统一框架内高效融合多模态输入，支持多种任务。

相比传统多模态模型，Ming-Omni新增对音频和图像生成的支持。其音频解码器可实现自然语音生成，而 Ming-Lite-Uni 能够生成高质量图像。此外，该模型还具备上下文感知聊天、文本到语音转换及多样化图像编辑能力。

免责声明：本文内容由开放的智能模型自动生成，仅供参考。