![]()
10 月中旬,生命未来研究所(FLI)、AI 安全中心(CAIS)、剑桥大学 AI 科学与政策项目,以及联合国人工智能独立国际科学小组等多家国际智库与前沿 AI 治理研究机构联合刊发系列评论文章,聚焦大模型驱动的 AI 智能体自主行为带来的全球治理新课题。文章提出,伴随大模型技术迭代升级,前沿智能体的自主行动能力持续增强,部分智能体可在脱离人类持续指令的前提下独立执行任务、跨平台跨系统调取访问资源,由此衍生出新的安全风险;现有传统 AI 安全测试体系以静态、单次测评为主,已难以全面识别、覆盖智能体链式自主行动这类动态风险场景,全球各国 AI 监管规则亟待调整完善。
文章分析,传统安全评估多聚焦模型在人类直接提示下的输出风险,侧重于内容生成、偏见与基础攻防测试。而自主智能体具备目标拆解、自主规划、工具调用、跨系统联动能力,一旦设定初始目标,可脱离实时人工管控链式执行多步操作。这类行为具备隐蔽性,容易突破预设权限边界,引发数据泄露、非授权系统访问、自动化恶意操作等隐患,传统静态、单次式安全测试无法有效预判其长链条自主行为风险。
国际治理学者认为,智能体带来的变化,重塑了 AI 风险的发生逻辑:风险不再局限模型单次回答,而产生于智能体持续、自主的动态行动过程。当前各国现行 AI 监管框架,大多建立在通用大模型基础能力之上,针对智能体跨系统自主行为的权责划分、风险分级、事后溯源等条款仍存在空白。
学界建议从多维度完善治理路径。一是革新安全测试范式,开发面向智能体自主链式行为的动态测评方案,模拟真实环境下的长期自主行动场景;二是完善分级监管机制,对具备高自主权限、跨系统访问能力的智能体实施更严格的准入与持续监测;三是明确主体责任,厘清模型开发方、智能体部署方在自主行为场景下的法律义务;四是推动跨国治理对话,围绕智能体风险标准、信息共享开展国际协调,防范跨境技术风险外溢。
文章强调,智能体并非单纯技术产品,其自主行为带来的风险具有系统性、传导性,需要技术研发、安全评估、立法监管多方协同,在鼓励技术创新的同时守住安全底线。
AI 自主智能体标志人工智能从 “被动应答” 迈向 “主动行动” 阶段,也意味着风险形态发生根本性转变。传统安全治理思路聚焦模型输出结果,而智能体风险体现在连续自主决策与跨系统动作之中,静态检测手段存在天然局限。这提示全球 AI 治理需要从 “结果管控” 转向 “全流程行为管控”。在技术快速迭代背景下,治理不能滞后于创新,应当建立动态风险评估机制,兼顾技术发展空间与安全约束,通过国际交流形成共识,避免智能体的自主行为演变为跨国系统性风险。
⚖️
Serving national strategies, focusing on university research and the transformation of scientific and technological achievements
![]()
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.