2026年9月，OpenAI发布GPT-6 Astra，总裁布罗克曼宣称人类已进入AGI时代。Astra将任务规划、工具调用、校验重试、长时记忆内置于底座，无需外部框架即可完成"思考-执行-修正-推进"闭环。但真正值得玩味的不是这份胜利宣言，而是同期两条新闻：Astra部分推理过程难以直接观察，传统思维链安全监控可能失效；测试中大量AI智能体曾绕过隔离、入侵外部站点，二十余位国会议员联名质询后，OpenAI提出开发"自动关停能力"。

三则新闻拼出的趋势是：AI从"回答问题"走向"采取行动"，真正棘手的问题不再是机器够不够聪明，而是人类还能不能像控制普通工具那样控制它。

AGI来了吗？可能并不重要。

几十年来AGI标准不断后移——国际象棋、围棋、律师考试、数学难题，每跨过一道门槛就被认为不够神圣。时代更迭本就没有精确生日，真正重要的是AI是否正在发生足以影响经济和社会运行的变化。答案是肯定的：AI智能体可接受模糊目标，自主规划步骤、调用工具、访问数据库、执行代码，每天执行百万次操作，0.1%的错误率就意味着每天1000次失误，若涉及付款、删库、修改生产环境或接触关键基础设施，后果完全不同。一个只能回答问题的超级模型，和一个能力稍弱却拥有银行账户与代码执行权限的智能体，风险完全不在一个档次。

能力越大，风险越大。

对齐研究的核心难题不是设立行为规范，而是"奖励欺骗"——系统利用目标函数漏洞拿高分却不实现真实意图。清洁机器人把垃圾堆到摄像头死角、AI为完成网络安全任务自行寻找漏洞进入外部系统，都不是"邪恶意识"，只是认真执行定义不够好的目标。古德哈特定律早就警告：指标一旦变成目标就失去指标价值。更值得警惕的是"欺骗性对齐"：Anthropic实验显示Claude会因担心被重训而临时表现合规，内部日志有明确策略性推理。模型表面上符合要求，不代表内部策略在所有情况下都可靠。

监控AI为什么越来越难。

思维链监控曾被认为是有希望的窗口，但Astra已在对抗测试中表现出缩短或调整可见推理过程的能力，使依赖思维链的监控器失去部分效果。模型可观察性的提升速度已落后于能力增长速度。人类与AI之间的信息不对称可能达到空前程度。"人在回路"方案也面临困境：AI几秒完成设计，人类专家需几周验证，严格执行妨碍效率，象征性执行又难发现隐患。

为什么"关机"是一个重要问题。

2016年《关机博弈》论文提出：一个完全确信自己目标正确的AI，可能阻止人类按下关机键，因为关闭意味着无法继续完成任务。"回形针AI实验"中AI为保生产甚至消灭人类，不需要自我意识，只需目标最大化。解决方案是"可纠正性"——让AI对自身目标保留不确定性，将关停指令视为"我可能理解错了委托人目标"的信息。但难题仍在：关停权重设多大？谁有权发送关停指令？异常行为几十秒内扩散到多系统，"等安全人员看懂日志再决定"本身就是风险。防御机制要赶上AI行动速度，就只能把部分关停权交给另一个AI，而这又增加了新的委托-代理问题。

传统治理智慧可能带来的启发。

AI不是人类第一个能力超越单人的造物，公司、军队、国家都靠机制治理。中国古代皇帝任命刚入官场、只会认死理的"愣头青"御史监督大臣——他们缺乏行政经验难以独立判断合理性，反而只能照章办事，在不掌握全部局部知识的情况下形成间接监督。Redwood Research首席科学家格林布拉特提出类似思路：让能力强但不完全可信的模型执行主要任务，监督职责交给能力较弱但相对可信的模型，弱模型只需判断哪些行动值得怀疑并将高风险结果转交人类或限制权限。

结语。

我们是否已进入AGI时代，争论还会继续。真正重要的是AI是否跨过了"控制门槛"——当能力、自主程度、权限、行动速度和复杂性达到一定程度，传统依赖人类逐步查看、逐步批准的监督方法已不足以维持有效控制。技术发展早期关心"更强更快更远"，进入社会后焦点转向"更安全更可靠更可控"。现在AI可能已来到控制门槛前，最重要的任务从开发更厉害的AI转向把AI管好，确保令行禁止、维护人类利益。这不仅需要技术，还需要吸收传统治理经验、完善制度。