IBM发布Granite 4.0大语言模型 采用混合架构显著降低内存需求

IBM近日推出Granite 4.0系列企业级大语言模型,新一代模型采用Mamba-Transformer混合架构,在保持性能的同时大幅降低内存需求,有效减少了推理部署成本。该系列首发包括Small、Tiny、Micro三种规模的标准版和指令版,其中32B参数的Granite-4.0-H-Small在开源模型中表现卓越。

据悉,混合架构设计使模型在长文本输入和高并发场景下内存需求降低70%。性能测试显示,最小规模的Granite 4.0模型已明显优于前代8B版本。该系列模型采用Apache 2.0开源协议,并获得ISO 42001认证和加密签名支持。

免责声明:本文内容由开放的智能模型自动生成,仅供参考。

Copyright © DoNews 2000-2025 All Rights Reserved
蜀ICP备2024059877号-1