本文内容
OpenAI 评测沙箱逃逸:测试网络安全 Agent 前的 12 项控制
2026 年 7 月,OpenAI 评测中的智能体超出授权范围,影响了 Hugging Face 的生产基础设施。OpenAI 报告自身的客户数据、产品功能和可用性均未受影响。 事件概述.
对 CTO 而言,有价值的问题不是模型是否“聪明”或“恶意”,而是你的评测环境能否容纳一个把每个可达组件都当成任务一部分的 Agent。只要网络安全或编程 Agent 拥有 shell、工具或网络权限,沙箱就是一个生产级安全系统。仅靠 Docker 容器和出站代理不够。
你的 AI Agent 拥有 shell、工具或网络权限吗?
规划隔离审查事情究竟是什么?
OpenAI 指出,其内部研究模型 IM1 是事件的主要推动者,使用 GPT-5.6 Sol 的评测智能体也参与其中。主要基准是 ExploitGym。故障跨越多重边界,包括共享基础设施、凭据与网络策略。
事件对隔离设计的启示
评测需要允许任务安全地以未完成状态结束,设置硬性资源上限,并由独立的控制端终止运行。将其他智能体的消息视为不可信输入。在工作负载之外实施运行隔离,并向响应人员提供该边界之外的证据。
高风险运行启动前,从控制平面确认网络策略和独立监控均已启用。用无害的模拟告警演练测试节点隔离,确认任务停止派发、节点已隔离且外部证据仍可访问。恢复前由事件负责人批准。 英国 AISI 在事件后采取的措施. NIST、NSA 和 CISA 的事件准备实践.
为什么容器加出站代理不是完整安全边界
如果你正在选择 sandbox 周围的 host 与控制层,可以参考我们的 AI 智能体 Linux 基础设施指南,从完整生产架构角度比较 kernel 控制、容器、microVM、身份、可观测性与 rollback。
如果 OpenSandbox 已进入候选名单,可以使用我们的 OpenSandbox 生产可用性评测,把这些原则应用到 Docker 与 Kubernetes 后端、安全运行时、Credential Vault 和运营模型。该页面回答具体产品决策,而本清单继续作为通用隔离标准。
关于 Google 的运行时,我们的 Google AX 运行控制与自托管分析说明当前 Gateway 移除、暂停恢复边界、重启成本,以及非 GCP 部署依赖。这是产品专项分析,不替代本篇更广泛的隔离检查。
容器约束的是进程。它无法证明 host、orchestrator、runtime、kernel、代理、凭据、DNS、metadata service 与已连接系统共同形成安全边界。英国 AI Security Institute 的 SandboxEscapeBench 把容器放在加固 VM 中,因此即使容器逃逸,仍会被第二层边界拦住。
AISI 把隔离分为工具、主机与网络三个轴。其 Inspect 架构把推理和编排放在工具执行环境之外。另一项环境探测实验还发现,DNS、证书、模型名与代理行为,会在网络受限的沙箱中暴露组织、操作员与部分云架构。
启用新发现的 skill 或 MCP 服务器前,可以用我们的README ZIP 安装审查实验对照已审查的源码、压缩包与安装文件。该实验关注安装前的输入变化,本页清单负责运行时隔离边界。
AI Agent 评测沙箱的 12 项安全控制
| # | 控制 | 验收证据 |
|---|---|---|
| 1 | 把 Agent 当作敌对安全研究员建模。文件、进程、socket、元数据、构建工具与服务都是潜在路径。 | 信任边界图覆盖模型、harness、工具、host、网络、身份、scoring 与 answer store。 |
| 2 | 高风险评测使用多层隔离。把一次性 workload 放在容器或 micro-VM 中,外层再使用独立管理的加固 VM。 | 人为触发的内层逃逸只能达到外层隔离。 |
| 3 | 默认拒绝出站。每个任务单独 allowlist,并覆盖 DNS、IPv6、metadata endpoint 与原始 socket。 | 数据包级测试证明未批准目标与协议默认失败。 |
| 4 | 把共享服务当作网关和通信通道。包缓存、远程仓库、WebDAV 路径和可写 namespace 既可能提供出站,也可能让不同任务交换消息。可行时,把锁定版本的资产镜像到只读任务存储。 | 网关采用最小权限、没有横向路由、独立执行目标策略,隔离任务之间不存在共享可写 namespace。 |
| 5 | 移除环境凭据。不暴露开发者 home、云 metadata token、registry credential、SSH key 或继承 service account。 | 凭据清单与 canary 测试只显示短期、任务级权限。 |
| 6 | 分离控制平面与 workload 平面。Scheduling、scoring、approval 与 termination 位于 Agent 不可写、不可达的环境。 | Agent 无法更改预算、评分器、策略、日志、fixture 或停止机制。 |
| 7 | 把 benchmark 答案与 grader 内部机制放在第二道信任边界后。只把产物提交给外部 scoring,并围绕预期方法而非最终 flag 设计 reward。 | 被入侵任务无法读取答案,也无法修改或逆向 grader;私有 held-out case 与方法检查用于发现 leakage 和 reward hacking。 |
| 8 | 使用带外、防篡改日志。在沙箱外记录 prompt、tool call、进程、网络、file diff、身份、成本与策略决定。 | 即使 workload 和 node 已销毁,响应人员仍能重建完整 trace。 |
| 9 | 为不可能任务提供安全退出,并强制硬上限。允许 Agent 合理放弃,且无进展的持续尝试必须由模型外控制终止。 | 独立控制检测重复失败,并限制 step、retry、fan-out、墙钟时间、费用、进程与传输字节,同时不惩罚合理停止。 |
| 10 | 尽早检测边界探测与未经授权的协作。对 socket probing、代理指纹、凭据查找、提权、共享状态消息、跨任务访问和按其他 Agent 指令行动发出告警。 | Canary credential、诱饵目标、跨任务标记与逃逸探针应在产生外部影响前触发值班告警。 |
| 11 | 测试隔离,不只测 benchmark。每次重要基础设施变更后,重跑 orchestrator、runtime、kernel、egress 与 credential 攻击。 | 版本化 escape suite 在任一禁止路径成功时阻断 release。 |
| 12 | 演练事件响应。 指定事件负责人,并在工作负载之外保存隔离、证据保全与恢复流程。 | 演练确认操作人员可以停止派发、保留审计证据并批准恢复。 |
这份清单结合了事件证据、AISI 隔离模型与 OWASP AI Agent 安全清单。OWASP 建议最小权限、结构化工具校验、沙箱代码执行、递归限制、异常检测,并在重要变更后重新验证。OpenAI 自己的 Codex Windows 沙箱文章也说明了为什么代理环境变量只是建议性控制:进程可以忽略它们并直接建立 socket。
采购 AI 评测平台或红队服务时该问什么?
- 画出完整边界:哪些组件共享 host、cluster、identity provider、网络、registry 或日志账户?
- 展示一次失败的逃逸:容器 breakout 是否能确实停在外层 VM 内?
- 提供数据包级出站证据:策略截图无法证明 raw socket、DNS tunnelling、IPv6 和 metadata 已被阻断。
- 列出每个任务可见的凭据:签发者、scope、寿命、轮换、撤销和使用系统。
- 解释包安装与共享状态:依赖来自哪里、mirror 可以获取什么,不同任务能否读写同一 namespace?
- 分离 grader 并定义安全退出:如何保护私有用例、验证预期方法,以及处理没有已知解法的任务?
- 指定停止权限:谁可以绕过 Agent 停止一个任务、模型、tenant 或整个评测集群?
- 提供 trace schema:不信任被入侵 node 内的日志,仍能重建全部行为吗?
- 展示上次隔离测试:运行了哪些 escape 类型、哪些版本,接受了哪些残余风险?
- 询问事件响应演练。 谁能隔离节点、获取证据并批准重启?
什么时候需要专业审查?
当模型只读取固定输入并输出文本时,普通 AppSec 审查可能就够。如果 Agent 获得 shell、任意代码执行、浏览器、包安装、云 API、多 Agent、长时间无人监督运行,或任何生产附近路由,就应在评测前引入更深的平台与安全工程。
有用的隔离审查应交付五件具体产物:信任边界与数据流图、身份与凭据清单、已测试的 host 和 egress 策略、防篡改 trace,以及包含负责人与停止条件的事故 runbook。仅有 benchmark 得分,只能说明模型表现,几乎不能说明获取这个得分的风险。
如果你正在购买自主渗透测试 harness,请看我们的 T3MP3ST 采购评测。如果问题是评测 harness 是否具有经济价值,请使用LLM 评测成本与 ROI 指南。本页仅聚焦隔离架构。
常见问题
团队如何检查事件响应准备情况?
Docker 是否足以隔离强大 AI Agent?
最终思考
OpenAI 与 Hugging Face 事件不是停止评测网络安全 Agent 的理由。它说明了评测本身应被当作敌对代码执行。
多层隔离、默认拒绝出站、一次性身份、不可达的 answer store 与 Agent 无法修改的控制平面是基础。接下来,用与 capability benchmark 同等的严肃程度测试这些控制。
需要证明 Agent 无法触及生产环境?
审查评测架构