面壁智能发布 Eurux-8x22B 开源大模型:代码性能超越 Llama3-70B

面壁智能发布开源大模型 Eurux-8x22B,包括 Eurux-8x22B-NCA 与 Eurux-8x22B-KTO,主打推理能力。

官方测试中,Eurux-8x22B 在 LeetCode(180 道 LeetCode 编程真题)与 TheoremQA (IT之家注:美国大学水准的 STEM 题目)测试超越了 Llama3-70B,在 LeetCode 测试上超越闭源的 GPT-3.5-Turbo。

▲ 官方测试结果

据介绍,Eurux-8x22B 模型激活参数 39B,支持 64k 上下文,是由 Mixtral-8x22B 模型对齐而来,在 UltraInteract 对齐数据集上训练而成。

▲ 官方测试数据

UltraInteract 是专门设计用于提升大模型推理能力的大规模、高质量的对齐数据集,包含了覆盖数学、代码和逻辑推理问题的 12 个开源数据集的 86K 条指令和 220K 偏好对,共有五十万条左右数据。

本文转载自IT之家,转载目的在于传递更多信息,并不代表本站赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请联系IT之家通知我方删除,我方将在收到通知后第一时间删除内容!本文只提供参考并不构成任何投资及应用建议。本站拥有对此声明的最终解释权。

最新文章
Copyright © DoNews 2000-2025 All Rights Reserved
蜀ICP备2024059877号-1