联发科运用Llama2大语言模型,让手机可运行生成式AI

DoNews8月24日消息,联发科透露,将利用 Meta 新一代开源大语言模型(LLM)Llama 2 以及自家旗下先进的 AI 处理器(APU)和完整的 AI 开发平台(NeuroPilot),建立完整的终端侧 AI 计算生态,加速智能手机、物联网、汽车、智能家居和其他边缘设备的 AI 应用开发,为终端设备提供更安全、可靠和差异化的使用体验。

据联发科官方公众号24日透露,预计年末采用联发科新一代天玑旗舰移动芯片的智能手机支持由 Llama 2 模型开发的 AI 应用,可为用户带来振奋人心的生成式 AI 应用体验。

目前,大多数生成式 AI 都依赖云计算,联发科基于 Llama 2 模型成功实现直接在终端设备上运行生成式 AI 应用。这将为开发者和用户提供独特优势,包括无缝的使用体验,更强的用户信息安全和可靠性,更低延迟,离线运算的能力以及更低的运营成本,让每个人都能享受到生成式 AI 带来的便捷与创新。

要在终端设备上充分释放生成式 AI 的潜力,设备制造商需采用高算力、低功耗的 AI 处理器(APU),并通过更快、更可靠的网络连接来增强设备的整体算力。

如今,每一颗联发科 5G 智能手机 SoC 均搭载 AI 处理器,已广泛执行生成式 AI 应用成功案例,例如 AI 降噪(AI-NR)、AI 超级分辨率(AI-SR)以及 AI 运动补偿(AI-MEMC)等。

联发科将于年末推出新一代旗舰移动芯片,将采用针对 Llama 2 模型而优化的软件栈(NeuroPilot),与搭配支持 Transformer 模型做骨干网络加速的升级版 AI 处理器(APU),可减少动态随机存取内存(DRAM)的读写消耗和带宽占用,进一步强化大语言模型和生成式 AI 应用的性能,助力开发者打造令人惊艳的 AI 应用,加速终端设备 AI 应用落地发展。

标签: 联发科技
Copyright © DoNews 2000-2024 All Rights Reserved
蜀ICP备2024059877号-1     京ICP证151088号
京网文【2018】2361-237号