阿布扎比穆罕默德·本·扎耶德人工智能大学(MBZUAI)基础模型研究所与科技企业G42近日共同推出高性能开源推理系统K2 Think。该系统参数量仅320亿,性能却超越规模大20倍的旗舰推理模型。K2 Think即将集成至Cerebras晶圆级推理优化平台,借助专有推测解码技术,预计实现每秒2000个令牌的吞吐量,成为当前速度最快、能效最高的AI推理系统之一。
免责声明:本文内容由开放的智能模型自动生成,仅供参考。
阿布扎比穆罕默德·本·扎耶德人工智能大学(MBZUAI)基础模型研究所与科技企业G42近日共同推出高性能开源推理系统K2 Think。该系统参数量仅320亿,性能却超越规模大20倍的旗舰推理模型。K2 Think即将集成至Cerebras晶圆级推理优化平台,借助专有推测解码技术,预计实现每秒2000个令牌的吞吐量,成为当前速度最快、能效最高的AI推理系统之一。
免责声明:本文内容由开放的智能模型自动生成,仅供参考。