软件工程师Andrew Rossignol近日在一台2005年发布的PowerBook G4笔记本电脑上成功运行了生成式AI模型。这台设备仅配备1.5GHz PowerPC G4处理器和1GB内存,硬件条件远低于现代AI需求。Rossignol通过优化及开源项目llama2.c,利用PowerPC的AltiVec向量扩展技术,显著提升了模型推理性能。
llama2.c作为轻量级开源项目,旨在让大型语言模型适应资源有限的设备。此次实验不仅验证了该项目的可行性,也为边缘计算和低功耗设备的AI应用提供了新思路。