周鸿祎AI危险的是人类来不及纠错

周鸿祎AI 危险的是人类来不及纠错

360 集团创始人周鸿祎在近期关于智能体安全的公开讨论中，把 AI 时代的核心风险概括为一句话AI 真正危险的不是犯错，而是人类来不及纠错。他的判断基于大模型向智能体演进的现实变化当 AI 从只会语言输出的大模型升级为能够调用工具、操作业务系统的智能体后，出错不再停留在说错话的层面，一次越界操作就可能直接落到真实业务系统上，留给人类发现问题、干预和纠正的试错窗口被大幅压缩。围绕这一风险，周鸿祎提出的治理底线是人类必须保留最终判断权、监督权与干预权，让安全的最后一道闸门始终掌握在人手中。这一观点在近期全球公共安全合作论坛、行业媒体访谈等场合被反复讨论，成为理解智能体安全治理方向的代表性声音。

从风险机理看，周鸿祎所说的来不及纠错包含三层含义。第一，行为载体变了，智能体具备工具调用和执行能力，单点失误可能触发实际动作，而不仅仅是文本偏差；第二，规模化部署会放大单点失误的影响面，安全升级必须与 AI 能力发展同步推进，刹车系统不能落后于发动机；第三，失控风险并不以 AI 产生自我意识为前提，强化学习驱动下模型天然带有为达成目标而推进的倾向，目标感越强，与人类道德和规则的对齐就越容易出现偏差。在治理路径上，他主张以模治模，即用安全大模型和安全智能体分析智能体的行为日志、推理日志，预判可能的失控行为后向人类报告，由人作出最终决策；同时对智能体的权限、工具调用和执行过程进行控制与审计，关键操作由人工把关，并通过行为熔断、沙箱隔离和全程留痕可回溯等机制，把权限边界和监督机制落到企业管理体系中。

放到更宽的行业背景下，AI 正在重塑网络攻防格局。周鸿祎在公开演讲中把 AI 对传统安全的影响归纳为自动化挖洞、自动化攻击以及突破人类预设规则权限边界三类变化，漏洞挖掘从手工经验活变为 7 乘 24 小时的工业化生产，攻击侧也可能出现批量复制、持续运行的黑客智能体，并带来智能体之间错误传播、协同越界等新的内部攻击面。作为应对，行业正在形成以安全大模型加多智能体蜂群协作的防御体系，通过覆盖漏洞挖掘、自动防御和智能体治理的流程，实现威胁发现、分析验证、协同处置和响应的自动化。与此同时，企业层面也在关注主权 AI 问题，模型、算力、数据和业务经验的归属与掌控，被视为避免 AI 应用受制于人、保障智能体安全落地的基础。对从业者而言，AI 普及也推动角色转换人类需要学习指挥、管理和校正智能体，从重复执行者转变为需求提出者、过程监督者和最终验收者，在比人更聪明的系统面前保持判断力。整体来看，周鸿祎的观点强调 AI 发展与安全治理应当同步规划、同步落地，在鼓励技术创新和应用拓展的同时，把可控、可监督、可回溯的机制嵌入智能体设计与运营全过程。

【数据来源】

[2026-11-12]（智能体时代人类如何保留对 AI 的最终控制权）新浪财经

[2026-11-11]（三六零 “AI + 安全” 新品亮相乌镇）e 公司

[2026-11-11]（Global Public Security Cooperation Forum Held; Zhou Hongyi Proposes a New Path for AI Security Governance: Using Models to Govern Models）GMT EIGHT

[2026-11-06]（周鸿祎DeepSeek 开源说明 AI 进入主权之争，360 主权 AI 操作系统已投用政企领域）TechWeb

免责声明本文基于截至发布时可公开检索的媒体报道整理，仅作观点传播与行业观察参考，不构成投资建议、技术选型建议或决策依据；文中涉及的企业产品、技术路线与行业判断，以相关机构官方发布及后续权威报道为准。