谷歌研究院于11月7日发布全新机器学习范式——嵌套学习（Nested Learning），旨在解决大语言模型在持续学习过程中面临的“灾难性遗忘”问题。

当前大语言模型的知识受限于预训练数据和上下文窗口，难以像人脑通过神经可塑性持续积累新技能而不丢失旧知识。直接用新数据更新模型常导致旧任务性能显著下降。

嵌套学习在NeurIPS 2025发表的论文中被提出，其核心理念是将模型架构与优化算法统一，视复杂模型为一系列相互嵌套或并行的优化问题，每个问题拥有独立的“上下文流”和更新速率，从而开辟新的设计维度以增强持续学习能力。

该范式包含两项关键技术：一是“深度优化器”（Deep optimizers），将优化器本身作为可学习模块，改进目标函数以提升对不完美数据的鲁棒性；二是“连续体内存系统”（Continuum Memory Systems，CMS），构建由不同更新频率模块组成的内存光谱，实现从短期到长期记忆的平滑过渡。

研究团队据此开发了名为Hope的概念验证模型，基于Titans架构的自修改循环网络，深度集成CMS，能通过自我参照机制优化自身内存结构，支持近乎无限层级的上下文学习。

实验显示，Hope在语言建模与常识推理任务中表现出更低的困惑度和更高的准确性，优于现代循环模型和标准Transformer架构。

在“大海捞针”（Needle-In-Haystack，NIAH）测试中，Hope展现出卓越的长文本记忆与检索能力，验证了CMS在处理超长序列信息中的有效性，为实现具备持续学习能力的AI系统提供了可行路径。

免责声明：本文内容由开放的智能模型自动生成，仅供参考。