DoNews8月6日消息,据两位字节员工向『The Information』爆料,在上个月的 Seed 团队全员大会上,张一鸣罕见表态:字节跳动不会把蒸馏当作提升 AI 模型能力的捷径,即便这意味着公司眼下落后于国内竞争对手。
报道称,张一鸣此前很少在 Seed 团队的会议上发言。在其他负责人谈及公司为何不会用蒸馏来抢占先机后,他打破了沉默。
张一鸣表示,字节跳动"应该愿意为更长期的目标牺牲一些短期收益",但他没有详细说明这些长期目标是什么。
据字节员工称,字节跳动不愿使用蒸馏,被视为其大语言模型落后于国内其他 AI 实验室的原因之一。
字节跳动的特殊之处还在于,它是国内主要 AI 公司中唯一一家大语言模型几乎全部为专有模型的企业,而其同行则专注于开源模型。
据字节跳动员工称,Seed 团队内部关于是否应转向蒸馏的争论由来已久。
今年,国内竞争对手的开源模型快速进步,给字节跳动带来了更大压力。据员工称,每当中国有强大的新开源模型发布,字节跳动内部关于蒸馏的争论就会升温。
蒸馏可以节省大量训练时间和算力开销,因为开发中的新模型可以直接学习现有前沿模型的推理步骤,而不必只依赖原始和精选的训练数据。



