Strata引擎开源:12GB显存可运行1250亿参数Qwen3.8模型

2026年10月6日,开发者Niko1221开源Strata推理引擎。该引擎支持在12GB及以上显存的消费级GPU(如RTX 5070、RX 9070 XT)上运行量化版Qwen3.8-Flash-Next模型(125B参数+51B嵌入表)。其采用MoE专家分层加载与轻量投机解码技术,显著降低显存占用。实测显示,RTX 5070下Q2_0量化版本生成速度达94 token/s;RX 9070 XT下为60 token/s。系统要求包括32GB RAM、80GB SSD及Win/Linux环境。

免责声明:本文内容由开放的智能模型自动生成,仅供参考。

最新文章
Copyright © DoNews 2000-2026 All Rights Reserved
京ICP备2025120072号