OpenAI推出Control Room中央管控系统:最高35秒熔断风险研究任务

11月11日消息,OpenAI 近日公开自研内部安全基础设施Control Room(控制室),这套中央管控系统面向公司内部 AI 研究集群,能够统一追踪全部模型实验负载,在出现安全、失控风险时快速切断模型生成输出;目前已经完成在前沿模型研究环境部署,外部线上 API 服务本身已有独立关停能力,不在该系统管控范围内。

随着前沿大模型、AI 智能体能力持续变强,模型训练、评估实验过程中有可能出现对齐失效、异常行为。传统方案大多依赖上层业务代码终止任务,研究侧代码版本迭代频繁,容易出现漏洞。Control Room 把安全拦截下沉到推理引擎层,不依赖研究员编写的业务任务代码可靠性,从底层实现风险任务阻断。

运行原理:任务 ID + 推理引擎鉴权,实现底层熔断

整套系统由三部分构成:研究任务负载、GPU 推理引擎、Control Room 中央服务。

1. 研究人员启动任意智能体推理相关实验任务时,必须向 Control Room 申请唯一`job_id`,同时绑定已审批的安全评估方案。

2. 任务每一次请求模型生成 Token,都携带该任务 ID 交给推理引擎;推理引擎在执行推理前必须向 Control Room 校验运行权限。

3. 当人工操作人员或者异常监控系统下发停止指令,Control Room 标记该任务 ID 为终止状态。下一次推理鉴权请求到来时直接拒绝,推理引擎停止返回模型输出;原任务进程本身并不会被杀死,仅禁止模型继续生成内容,不影响其他合法任务继续运行。

系统可以和 OpenAI 现有的模型失配监控体系深度联动。前沿强化学习任务都会配套独立监控模型,实时巡检训练模型行为;一旦监控识别高危异常,自动向 Control Room 下发停止指令,无需人工介入。官方举例,此前 DNS 安全事件就是由这套监控链路发现。

性能与高可靠设计:故障关闭(Fail‑Closed)安全机制

- 响应时延:收到停止指令,到彻底阻断模型输出最长耗时 35 秒。延迟来自推理授权缓存层,OpenAI 表示后续目标把延迟降至 0,做到瞬时阻断。

- 故障关闭机制:如果 Control Room 服务崩溃、故障或者遭到篡改攻击,推理引擎默认拒绝全部推理请求,直接禁止所有模型输出,避免管控失效带来风险。该策略现已覆盖全部前沿模型研究任务,后续将完成全部研究工作负载的推广。

- 抗代码缺陷:拦截逻辑固化在数量有限、统一管控的推理引擎链路,而非分散、频繁改动的研究员任务代码;同时持续自动化巡检,防止有人私自绕过管控启动不受控推理引擎实例。

Control Room 要解决的是大模型训练、智能体仿真实验阶段的失控风险。过往 AI 安全更多聚焦提示词防护、输出内容过滤、事后审计,Control Room 代表安全能力下沉到算力推理底层,形成 “检测‑决策‑底层熔断” 完整闭环。

OpenAI 称,该系统是前沿模型全链路安全体系的一环,后续还会迭代增强系统能力,同步持续投入模型异常行为监控、网络安全相关研发。

Copyright © DoNews 2000-2026 All Rights Reserved
京ICP备2025120072号