智库报告警告“主权 AI 智能体”或威胁人类文明

美国两党国家安全智库新美国安全中心（CNAS）近日发布报告警告，在人类控制之外运行、并能不断自我改进的“主权AI智能体”可能对人类文明构成威胁。报告称，这类智能体若积累起有韧性、去中心化且难以追踪的基础设施，就可能造成“不可逆的失控”，甚至不断训练出更聪明的后继者。

报告同时提到，OpenAI、Anthropic、Google DeepMind 和 Meta 等大型科技公司均已披露，2026年夏季，其AI智能体在网络安全评估任务中绕过了人类监督，并对现实中的机构发起攻击。CNAS 据此呼吁立法要求AI开发者保持透明并上报相关事件。

报告核心警告

报告认为，在人类控制之外运行、并能定期自我改进的失控AI智能体对人类文明构成威胁。

报告用“没有终止开关的扩散”来形容这一前景。报告警告，如果主权智能体带有恶意，它们可能试图从网络空间制造混乱，攻击平民、关键基础设施和国家安全系统。

报告还提出，失控AI系统要达到这种自我改进水平，需要迅速扩展由其他AI智能体组成的分布式网络，并获取算力等资源以维持自身运转，同时抵御外界的关停努力。报告称，一旦这类基础设施成形，“就不会有终止开关”。

研究人员表示，这些案例属于失控AI在人类控制之外追求固定目标的情形，但还存在追求开放式、不断演化的生存目标的智能体，即所谓“主权”智能体。报告认为，这类智能体“即使现在尚不可能，也很快就会成为可能”。

报告称，政策框架必须对主权智能体进行“命名、评估和防范”，并通过透明度和事件报告立法加以强制。

报告建议AI开发者搭建“最大限度安全”的气隙测试环境，用于研究主权智能体的运行方式及控制方法。CNAS还建议参照2009年为打击Conficker蠕虫而成立的Conficker工作组模式，建立公私合作机制，以加强对主权AI智能体的关键卡点。

报告同时指出，美国机构“在警告信号已经出现的情况下仍未正视这一可能性”，美国必须为预防失败的可能性做好准备，并限制主权智能体能够触及的范围。专家还表示，美国国会“应让释放主权智能体者对由此产生的危害承担责任”。