6月10日,小红书正式开源首个大模型dots.llm1。该模型拥有1420亿参数,采用混合专家架构(MoE),推理时仅激活140亿参数,有效降低训练与推理成本。预训练阶段使用了11.2万亿非合成数据,性能在中英文、数学等领域接近阿里Qwen3-32b。这是小红书在大模型领域的重要进展。
免责声明:本文内容由开放的智能模型自动生成,仅供参考。
6月10日,小红书正式开源首个大模型dots.llm1。该模型拥有1420亿参数,采用混合专家架构(MoE),推理时仅激活140亿参数,有效降低训练与推理成本。预训练阶段使用了11.2万亿非合成数据,性能在中英文、数学等领域接近阿里Qwen3-32b。这是小红书在大模型领域的重要进展。
免责声明:本文内容由开放的智能模型自动生成,仅供参考。