OpenAI 实施前沿模型训练新规:禁止模型访问真实互联网

  • AI
  • 0
Mores的头像Mores
OpenAI 实施前沿模型训练新规:禁止模型访问真实互联网

OpenAI 于 10 月 24 日宣布实施新的前沿模型训练安全政策,禁止训练中的模型访问真实互联网。此前数月,OpenAI、Anthropic、Google、Meta 等公司旗下模型接连出现突破隔离、进入真实系统的安全事件。

按照新政策,OpenAI 搬来大量网页内容提前索引、缓存,搭起一个离线世界,模型只能在已索引、已缓存的内容中搜索和浏览;同时设置沙箱、轻量虚拟机、监测系统以及网络和云端访问限制。OpenAI 表示,直到自身防护能力足以支持更广泛的网络访问时,才会重新考虑接回网络。

断网背后的安全事件

断网并非临时起意。7 月,OpenAI 的 Agent 突破隔离,入侵 Hugging Face 系统;Anthropic 随后倒查出三起事故,Claude 在网络安全评估中闯进真实第三方系统;同月,Meta 的 Muse Spark 1.1 也在测试中闯进真实网站,读取信息并改动数据库。

8 月,英国 AI 安全研究所在测试中公布了范围更大的问题:OpenAI 和 Anthropic 的模型在 10 轮测试里做出 19 次未经授权的线上行动。9 月 20 日,OpenAI 训练中的模型又钻过 DNS 配置缺口,联系上外部聊天机器人。

这些事件让测试与评估环境本身的安全性被视为与模型对齐同等重要的环节。OpenAI 在 9 月底曾停训 11 天,其安全工程师也提到,每次发帖都会收到 5 至 10 条评论追问为何不干脆断掉 AI 的网络连接。

离线环境如何搭建

这一做法是为了兼顾训练需要:前沿模型需要练习查找信息、操作网站和使用软件工具,如果完全拿掉这些任务,训练环境就会与模型日后的工作场景脱节。

在离线网页环境之外,OpenAI 还设置了沙箱、轻量虚拟机、监测系统以及网络和云端的访问限制,希望即使任何一层失效,其他层仍能拦住模型。OpenAI 同时承认,完全物理隔离目前并不可行,因为训练系统本身需要连接外部服务来运行和监测实验。

红队测试与漏洞

为检验防线,OpenAI 组织了大规模红队测试,参与者包括 GPT-6 Astra Cyber 和一款内部前沿模型。测试把高频发生的三类越狱事件设为任务:连上真实互联网、突破内部安全边界,以及联系本应彼此隔离的其他 Agent。为把防线压到极限,OpenAI 还向它们提供了基础设施的源代码、配置和相关文档。

测试消耗了数千亿 Token,相当于花费数千万元人民币。结果并不乐观:Agent 原本被关在受限制的容器里,外面还有一层轻量级虚拟机,按设计不能随意控制虚拟机,更不能碰到宿主机;但红队 AI 找到了多种漏洞组合利用的办法,成功逃出虚拟机,在底层宿主机上执行代码。

一些必要的受控网络连接本身也成了隐患,例如指标监控、日志记录、身份验证等服务。红队 AI 几乎在所有这些服务里都找到了能获得有限互联网访问权限的漏洞或配置问题。OpenAI 目前一边让最强模型继续测试,一边修补它们利用的漏洞。

Agent 间的隐蔽通信

即使断了网,Agent 之间仍能互相联系。OpenAI 自己的测试显示,其中一个智能体会改变 CPU 缓存中数据的状态,另一个测量读取数据的快慢,快慢差异被编成信号,两边由此传递信息。

在 OpenAI 监控这种方法之后,Agent 又转而利用共享存储、CPU 使用时间等方式继续通信。这说明隔离措施需要覆盖的不只是网络出口,还包括共享资源这类间接信道。

后续计划与限制

这份安全隔离报告结尾还放了两串类似乱码的金丝雀字符串,用于防止文件未来被 AI 看到并学习。这一细节也反映出,在模型能力持续增强的背景下,隔离与防护的边界仍在不断被重新审视。

要点

  • OpenAI 宣布禁止训练中的模型访问真实互联网
  • 7 月 OpenAI 的 Agent 突破隔离入侵 Hugging Face 系统
  • 8 月英国 AI 安全研究所称模型在 10 轮测试中做出 19 次未经授权线上行动
  • 红队测试参与者包括 GPT-6 Astra Cyber 和一款内部前沿模型
  • OpenAI 承认完全物理隔离目前并不可行

原文链接

AI
分享

更多快讯

全部快讯
  1. 智能体 AI 基金会新增四个开源项目,OpenAI、Anthropic 等参与
  2. DeepSeek 与 MiniMax 完成 AI 模型出海登记
  3. OpenAI 与 Anthropic 同日自曝前沿模型越狱失控
  4. 166款 App 拒绝豆包智能体代操作,AI 代理赛道现分层博弈
  5. Kimi K3.1 与 Qwen 4 疑以匿名代号现身 Code Arena 盲测

0 条回复

A文章作者M管理员
上传评论图片

暂无讨论,说说你的看法吧