Hugging Face 开源 Carbon‑X:14B 参数 DNA‑语言混合大模型

11月2日消息,HuggingFaceBio 团队联合中关村学院、意大利 Telethon 遗传学与医学研究所、那不勒斯费德里科二世大学正式发布开源基因组大模型Carbon‑X。

该模型基于 Qwen3‑14B 改造,把 DNA 碱基序列与人类自然语言纳入同一个解码器模型,科研人员能够直接输入 DNA 片段,用自然语言提问,完成突变危害预测、序列解读、新 DNA 片段生成等任务,权重采用 Apache 2.0 协议完全开放,支持本地私有化部署,保护未公开敏感基因数据。

过往两类生物 AI 各有短板:纯基因组基础模型只能处理序列,无法输出自然语言解释;通用大模型只能从论文文本学习生物学知识,不理解原始 DNA 碱基排布。

Carbon‑X 没有采用 “DNA 编码器 + 大语言解码器” 的拼接架构,而是设计混合分词器,在原有文本词表之外新增大量六碱基 DNA 专用 token,DNA 与文本共用一套嵌入矩阵,实现 DNA 序列和自然语言在同一套模型内编码、推理、输出。

训练上,研究团队对 Qwen3‑14B 开展中期续训,使用合计 3000 亿 token 混合数据集,包含原始基因组序列、生物文献与通用文本;之后经过有监督微调,再引入可验证奖励的强化学习,依靠领域专家构建校验器对模型输出做事实核查,抑制模型对基因信息的幻觉,显著提升突变预测任务表现。

在 5 项去污染 DNA 专项基准测试中,Carbon‑X 无推理模式平均得分66.7%,较基座 Qwen3‑14B 提升 27 个百分点,超越所有参评开源模型;性能十分接近闭源顶尖模型 GPT‑6.1 Sol(67.5%),但单样本推理成本仅约后者的1/1800。在编码变异危害预测、碱基续写任务上 Carbon‑X 表现甚至超过 GPT‑6.1 Sol;而复杂插入缺失变异等任务上,闭源商业模型仍保持优势。

该模型有两种典型落地路径。其一可作为子专家智能体外挂给其他通用大模型,测试显示接入 Carbon‑X 后,Kimi K3 的 DNA 综合能力提升 11.1 个百分点;其二支持大规模批量基因组分析,团队测算,处理 240 万项临床意义不明基因变异,Carbon‑X 推理成本仅约 300 美元,而闭源前沿模型成本区间在 3.2 万‑400 万美元。依托 llama.cpp,Carbon‑X 可在普通 Mac 设备本地运行,不需要把基因数据上传外部 API。

报告同时指出闭源生物 AI 的现实痛点:部分商用模型会对合法基因组研究请求触发安全拦截,随着推理强度调高,拒绝率大幅抬升,直接拉低评测分数。

团队坦诚模型仍存在明确短板:尚未经过临床验证,不能直接用于医疗诊断;长序列生成质量下降,容易搞错碱基坐标与计数,仍会出现基因相关幻觉;部分教科书级生物学问答上不及通用前沿模型。安全层面,训练集刻意排除真核感染性病毒基因组;但团队提示,模型开放之后仍需持续评估微调带来的滥用风险。

Copyright © DoNews 2000-2026 All Rights Reserved
京ICP备2025120072号