摩尔线程智能科技（北京）有限责任公司近日宣布，已成功实现对DeepSeek蒸馏模型的推理服务部署。通过DeepSeek提供的蒸馏模型，摩尔线程能够将大规模模型的能力迁移至更小、更高效的版本，从而在国产GPU上实现高性能推理。

此次部署基于Ollama开源框架，摩尔线程完成了DeepSeek-R1-Distill-Qwen-7B蒸馏模型的部署，并在多种中文任务中展现了优异的性能。这不仅验证了摩尔线程自研全功能GPU的通用性与CUDA兼容性，还通过自主研发的高性能推理引擎，结合软硬件协同优化技术，显著提升了模型的计算效率和资源利用率。

此外，用户还可以基于MTT S80和MTT S4000进行DeepSeek-R1蒸馏模型的推理部署，此前已有用户在MTT S80上手动完成实践。这一进展为未来更多大规模模型的部署提供了技术保障。

免责声明：本文内容由开放的智能模型自动生成，仅供参考。