谷歌突破AI遗忘瓶颈！“嵌套学习”让模型像人脑一样持续进化

近日，谷歌在NeurIPS 2025上发表题为《嵌套学习：深度学习架构的幻象》的论文，提出全新的“嵌套学习”范式，从根本上了重新思考AI学习方式，这一突破可能标志着AI向“真正像大脑一样进化”迈出关键一步。

01 破解AI“灾难性遗忘”难题

当前的大语言模型表现令人惊叹，但其知识积累存在明显天花板。它们的知识要么局限于预训练数据，要么受限于有限的上下文窗口，无法像人脑一样通过神经可塑性持续学习新技能而不遗忘旧知识。

最直接的解决方案——持续用新数据更新模型参数，往往导致“灾难性遗忘”，模型在学习新任务后，旧任务性能会严重下降。

传统上，研究人员通过两种途径缓解这一问题：改进模型架构或优化训练算法；然而，这两种方法一直被视作独立的部分，这种割裂的视角阻碍了统一高效学习系统的建立。

谷歌的嵌套学习范式打破了这一思维定式，将模型架构与优化算法视为一个统一的、相互嵌套的系统，从更本质的层面解决遗忘问题。

02 嵌套学习：让AI像人脑一样多尺度学习

嵌套学习的核心思想十分简洁：一个复杂的机器学习模型，本质上是一组相互嵌套或并行运行的优化问题，每个子问题都有自己的上下文流和更新频率。这类似于人脑的学习机制。我们对眼前事物的瞬时记忆更新速度极快，为考试准备的短期记忆更新速度次之，而构成世界观的长期知识则更新非常缓慢。嵌套学习将这一洞察应用到AI中，引入关键概念：更新频率。模型中的每个组件，无论是权重参数还是优化器中的动量项，都有自己独特的更新频率。更新最慢的组件负责将长期、稳定、抽象的知识沉淀到参数中，形成模型的“世界观”。这种多速率的学习系统，使模型能够在不干扰核心知识的情况下灵活吸收新信息。

03 两大技术创新：深度优化器与连续体记忆系统

基于嵌套学习范式，谷歌研究团队提出两项核心技术改进，为理论提供实践路径。

• 深度优化器：让优化过程也具备学习能力 嵌套学习将优化器本身视为可学习的“联想记忆模块”。 传统优化器依赖简单的点积相似度，未考虑不同数据样本间的复杂关系。通过将优化目标调整为更标准的损失指标，可以推导出新的动量公式，使优化器对噪声数据更具鲁棒性。这种“深度优化器”能够更智能地指导整个模型的学习过程。

• 连续体记忆系统：实现记忆的动态管理 在传统Transformer中，序列模型充当短期记忆，保存即时上下文；前馈网络则充当长期记忆，存储预训练知识。嵌套学习将这一概念扩展为连续体记忆系统，其中记忆被视为一系列模块组成的光谱，每个模块以特定频率更新，为持续学习创建更丰富高效的记忆系统。这种设计使模型能够根据信息的重要性和稳定性，在不同时间尺度的记忆模块之间动态分配和管理知识，从根本上解决灾难性遗忘问题。

04 Hope验证模型：性能显著超越现有架构

为验证嵌套学习理论，谷歌开发了Hope验证模型——一个基于Titans架构的自我修改循环网络，集成了连续体记忆系统。

实验结果显示，Hope在语言建模和常识推理任务中表现出更低的困惑度和更高的准确率，性能超越现代循环模型和标准Transformer。

特别是在长上下文“大海捞针”任务中，Hope展现出卓越的记忆管理能力，证明CMS为处理扩展信息序列提供了更高效的方法。

这些结果不仅验证了嵌套学习范式的有效性，还展示了其在处理复杂任务时的巨大潜力。

05 嵌套学习对AI发展的启示

嵌套学习带来的持续学习能力，使AI系统能够在不遗忘核心知识的前提下，快速适应不同市场的本地化需求。例如，一个在欧美市场运行良好的AI客服系统，可以通过持续学习快速掌握东亚市场更注重礼貌和寒暄的交流风格。

从技术层面看，嵌套学习范式与国内AI企业的“场景为王”发展路径高度契合。无论是贵州大数据产业中的海归派试图将国际技术与本土需求结合，还是各领域AI企业深入垂直行业的发展趋势，嵌套学习都能提供强有力的技术支持。

对于国内AI硬件企业，嵌套学习框架下的高效持续学习能力，有助于在产品出海过程中更好地平衡全球化标准与本地化需求，在智能家居、消费电子等领域打造真正具有全球竞争力的产品。

从学术研究到产业应用，嵌套学习可能需要数年时间。但可以确定的是，AI正从只能被动反映训练数据统计规律的“静态知识库”，向能够不断自我完善、持续适应环境的有机体转变。

谷歌嵌套学习的突破，不仅是一个技术里程碑，更是AI向通用人工智能发展道路上的重要一步。随着这一范式的成熟，自动驾驶、个性化医疗助手、自适应教育系统等需要终身学习的应用领域将迎来全新可能。

引用: https://openreview.net/forum?id=nbMeRvNb7A; https://research.google/blog/introducing-nested-learning-a-new-ml-paradigm-for-continual-learning/