蚂蚁百灵开源轻量级MoE模型Ling-3.0-tiny

2026年8月11日,蚂蚁百灵在Hugging Face平台开源Ling-3.0-tiny模型。该模型为7.9B参数混合推理MoE架构,每Token激活1.3B参数,支持BF16、FP8和INT4权重格式。其采用KDA与MLA按3:1交替堆叠的高效架构,并集成128专家稀疏FFN,兼顾性能与成本。模型专为本地部署优化,已在英伟达DGX Spark、Apple Silicon MacBook及Mac mini验证;M4 Pro设备上推理速度达86–90 Token/s,8K上下文峰值内存占用约8.34 GiB。

免责声明:本文内容由开放的智能模型自动生成,仅供参考。

最新文章
Copyright © DoNews 2000-2026 All Rights Reserved
京ICP备2025120072号