科技媒体近日发布博文，深入解析苹果最新AI技术报告，揭示其模型架构、训练方式及性能优化等多项细节。

这份名为《Apple Intelligence Foundation Language Models – Tech Report 2025》的报告详述了苹果在AI领域的多个关键技术，涵盖模型结构、数据来源、预训练、后训练、工具开发、优化措施及性能基准等内容。

根据报告，苹果AI模型采用端侧与云端结合的设计方案。其中，端侧模型规模约为30亿参数，被划分为两个区块。第一个区块包含约62.5%的transformer层，第二个区块包含约37.5%的transformer层，但移除了键（Key）和值（Value）映射。

苹果指出，这种设计在保持模型性能与输出质量的同时，可降低约37.5%的内存占用，并使输出首个tokens的时间缩短37.5%。

在云端模型方面，苹果开发了一种名为Parallel-Track Mixture-of-Experts（PT-MoE）的架构。该架构将模型拆分为多个子网络，仅在任务相关时激活对应子网络，从而实现更高效响应。

苹果设计了名为Parallel Track Transformer的新型Transformer结构，并通过MoE层进行扩展。该结构将模型划分为多个并行轨道，每条轨道独立处理tokens，并在特定节点同步。

此外，苹果在模型中引入本地专家机制，避免全局协调带来的瓶颈问题。结合交织全局与本地关注层的设计，模型在保持智能水平的同时提升了效率与扩展能力。

语言支持方面，苹果将训练数据中外语比例由8%提升至30%，并将其标记器容量从100K扩展至150K，以增强多语言处理能力。

在数据收集方面，苹果强调其训练数据包括获得授权的数据、公开或开源数据集，以及通过Applebot网络爬虫抓取的公开信息。对于明确反对数据抓取的出版商，苹果承诺不会抓取其内容。

免责声明：本文内容由开放的智能模型自动生成，仅供参考。