小红书开源首个大模型dots.llm1

6月10日,小红书正式开源首个大模型dots.llm1。该模型拥有1420亿参数,采用混合专家架构(MoE),推理时仅激活140亿参数,有效降低训练与推理成本。预训练阶段使用了11.2万亿非合成数据,性能在中英文、数学等领域接近阿里Qwen3-32b。这是小红书在大模型领域的重要进展。

免责声明:本文内容由开放的智能模型自动生成,仅供参考。

最新文章
Copyright © DoNews 2000-2025 All Rights Reserved
蜀ICP备2024059877号-1