酷睿轻薄本也能运行大语言模型,英特尔推动PC生成式AI落地

DoNews8月24日消息,18 日上午,英特尔在大湾区举办了一场技术分享会,主题是英特尔在 AIGC(人工智能生成式计算)领域的最新进展。会上,英特尔的技术专家向与会者展示了他们在 AIGC 上的技术方向,并进行了多个应用的演示。

据悉,英特尔为了让 12、13代酷睿平台也能够顺利运行各种大语言模型并提供流畅的使用体验,构建了 BigDL-LLM 库。通过这个库,可以对各种大语言模型进行优化和支持,包括一些开源的、可以在本地运行的大语言模型。

这个库甚至可以在一台搭载 16GB 内存的英特尔轻薄本的机器上运行参数量高达 16B 的大语言模型。此外还支持 LLaMA / LLaMA2、ChatGLM / ChatGLM2 等多个大语言模型。

通过集成了 ChatGLM2、LLaMA2 和 StarCoder 这三个大语言模型的 Demo,英特尔技术专家演示了这些模型在中文和英文应用上的表现。通过优化和量化操作,这些大语言模型在生成回答时能够以非常快的速度生成,并且不影响阅读体验。英特尔已经发布了这套 Demo,任何搭载 12、13代酷睿的电脑都可以直接安装并体验。

标签: 英特尔
Copyright © DoNews 2000-2024 All Rights Reserved
京ICP备15062447号-2     京ICP证151088号
京网文【2018】2361-237号