谷歌论文提出 SIM 机制:AI 可跨模型继承优化经验

  • AI
  • 0
Mores的头像Mores
谷歌论文提出 SIM 机制:AI 可跨模型继承优化经验

谷歌与宾夕法尼亚州立大学联合发布一篇论文,提出“持续递归自我改进”框架CRSI,其核心是“自我改进记忆”机制SIM。该机制记录AI每次修改代码的动机、预期效果、实际结果与评估上下文,使新一代模型在接手旧框架时能读懂前代优化的原因。

论文以Claude Opus优化出的Harness交由Gemini 3.8 Flash继续优化为例,展示有SIM与无SIM两种情况下的表现差异,并在代码编写、文本分类、工作区任务、工程设计四个领域进行了对比测试。

换模型后旧框架为何失效

论文讨论的改进对象并非大模型的底层权重,而是套在模型外面的Harness,即提示词、工具与拦截规则等组成的框架。过去AI通过递归自我改进在反复试错中打磨这套框架,但一旦底层模型更换,问题随之出现。

谷歌研究员在实验中发现,一个在Claude Opus上深度进化、表现优异的Harness,直接套用到Gemini身上后,得分反而低于Gemini原生的初始Harness。原因在于代码移交时只保留了结果,修改的原因随之丢失。

新模型面对复杂的规则、拦截器和提示词时无法理解其来历,优化器不知道每次修改的初衷,可能把用于修复致命Bug的代码当作冗余删除,或重新尝试已被证明无效的方案,导致越优化越差。

谷歌论文提出 SIM 机制:AI 可跨模型继承优化经验

SIM记录了什么

针对上述问题,论文提出持续递归自我改进框架CRSI,其核心是自我改进记忆机制SIM。论文强调,SIM不是简单的聊天历史记录,而是为AI优化器准备的结构化开发日志。

每次AI修改Harness代码后,SIM按问题根因对修改进行分组,并记录四类要素:修改动机与具体代码,即基于什么原因改了哪一行;预期效果,即动手前认为能修复哪些特定任务;实际效果,即运行后成功与失败的数量、是否引入新Bug;评估上下文,即当时使用的模型与数据集。

这套记录相当于上一代模型留给下一代模型的交接文档。新模型在每一轮优化前先阅读SIM日志,理解前人修改的意图,再决定如何继续调整。

谷歌论文提出 SIM 机制:AI 可跨模型继承优化经验

跨模型接力的实测对比

论文设计了跨模型接力实验:把Claude Opus 5.5进化出的Harness连同SIM记忆一起交给Gemini 3.8 Flash继续优化,并对比有SIM与无SIM两种情形。

论文举出一个过早完工的案例。此前AI常在未执行Git命令时就声称任务完成,Claude时期的优化器为此在Harness中加入拦截器,规定没有实际执行命令就不准提交完成。

在没有SIM的情况下,Gemini接手后不理解拦截器为何存在,连续4次重写这段代码,其中2次是为了修复自己刚引入的Bug。在有SIM的情况下,优化器阅读日志后明白了拦截器的作用,不仅保留它,还加入针对特定目标任务的检查,要求得分达标才允许提交。

谷歌论文提出 SIM 机制:AI 可跨模型继承优化经验

四类任务的测试数据

论文在代码编写、文本分类、工作区任务、工程设计四个领域进行大规模测试,基线包括四种:用原始种子Harness从零开始的冷启动、只继承代码不继承SIM、只告知过去问题而不给修改细节与结果的Problem-Only Memory,以及继承完整Harness与完整SIM日志的Full SIM。

在Opus转移到Gemini的工作区任务中,起点分数为68.41分。仅传代码的对照组最终得分为73.42分,而Full SIM加持下的Gemini得分升至84.75分,两者相差11.33分。

在Terminal-Bench命令行任务中,团队进行了10次独立的持续优化运行,有SIM的一方9次胜出,平均得分高出2.36分,论文称具备统计学显著性(p=0.003)。此外,同一模型转向全新数据集时,例如文本分类从3个旧数据集换到8个未见过的数据集,Full SIM在全部6个测试场景中均取得最高分。

谷歌论文提出 SIM 机制:AI 可跨模型继承优化经验

RSI从单次走向持续

论文将此前缺乏记忆机制的自我改进称为伪RSI:AI在自我改进若干次后容易陷入性能衰退。CRSI与SIM的意义在于让Agent的进化可以累积,每一代优化都建立在上一代记录的原因与结果之上。

按论文的描述,第一代优化部分代码并记录原因,第二代读取记忆后在此基础上继续优化,第三代继承前两代的记忆寻找新突破口。当AI能通过日志把经验传递给后续模型时,递归自我改进便从单次实验走向持续进行。

要点

  • 论文由谷歌与宾夕法尼亚州立大学联合发布
  • SIM记录修改动机、预期效果、实际结果与评估上下文
  • 无SIM时Gemini曾连续4次重写同一段拦截器代码
  • Workspace任务中Full SIM得分84.75,仅传代码为73.42
  • Terminal-Bench十次运行中有SIM一方9次胜出

原文链接

AI
分享

更多快讯

全部快讯
  1. SpaceX 拟将收购的 Cursor 更名为 Grok Build
  2. 谷歌 Gemini 上线 GIF 生成功能,由视频模型 Gemini Omni 1.2 Flash 驱动
  3. 谷歌为 macOS 版 Gemini 推出电脑操控功能,可跨应用执行多步任务
  4. ChatGPT 上线实时听写,取消 10 分⁠钟录音上限
  5. 谷歌发布 Gemini Decision 1,正面挑战 Jev 决策模型

0 条回复

A文章作者M管理员
上传评论图片

暂无讨论,说说你的看法吧