OpenAI发布开源模型GPT-oss 支持本地运行

8月6日深夜,OpenAI发布其首个开源模型GPT-oss,该模型在ChatGPT世代首次亮相。

GPT-oss包含120B和20B两款MoE模型,均为纯文本、非多模态的推理模型,采用Apache 2.0许可。

两款模型均原生支持4-bit量化,其中20B版本仅需16GB内存即可运行。

120B模型参数为117B,激活参数5.1B;20B模型参数为209亿,激活参数3.6B,上下文均为128K。

OpenAI在训练后期采用MXFP4格式进行量化,使模型在低精度环境下仍能保持高性能。

GPT-oss-20b模型大小约为12.8GB,可在单张16G显存的显卡上运行。

120B模型可在80G单卡上运行。

在Codeforces(带工具)测试中,gpt-oss-120b和gpt-oss-20b分别获得2622分和2516分。

在人类考试中,gpt-oss-120b和gpt-oss-20b得分分别为19%和17.3%。

OpenAI提供在线试用网站https://gpt-oss.com/,但访问较卡顿。

可通过OpenRouter平台使用gpt-oss模型,地址为https://openrouter.ai/。

也可通过Ollama平台下载使用,地址为https://ollama.com/。

20B模型至少需要16G显卡,120B模型至少需要80G显卡。

实测显示gpt-oss-20B运行速度较快。

模型在推理和数学能力方面表现较强。

存在一定程度的幻觉问题。

OpenAI此次发布被认为有助于改变开源社区格局。

免责声明:本文内容由开放的智能模型自动生成,仅供参考。

最新文章
Copyright © DoNews 2000-2025 All Rights Reserved
蜀ICP备2024059877号-1