网易首页 > 网易号 > 正文 申请入驻

模型答题100分,上岗及格线只有60%:智能体下半场,比聪明更重要的是「管得住」?

0
分享至

➡️ 模型考试近满分,上岗却只及格六成?本文借CNCC2026现场案例:华为越界智能体、清华「沙箱删盘」、少年谢尔顿式Agent,拆开「聪明」和「可控」之间的裂缝,回答:智能体下半场,谁来踩那脚刹车?



文|捉驿 •栏目|数字视线

编辑注:本文数据来自 CNCC2026 成都主论坛及《智能体的安全挑战》论坛公开报道与媒体交叉转述。蒋冠军「理论近 100% / 实际 60%–70%」为千问现场披露的产品侧口径;肖亚军「5%–20% 越界」为华为内部运行智能体抽样观测,非全行业统计;徐恪「沙箱删电脑」、OpenAI 多智能体协同攻击为论坛案例或二手引用。

「今天的 AI 并没有那么好用。」

这句话不是质疑者说的,是千问事业部副总裁蒋冠军站在 CNCC2026 主论坛上讲的开场白。

他紧接着给了一组扎心的数:助理类 Agent 任务,理论上成功率接近百分之百,放到真实系统里,只剩百分之六十到七十。



模型不是不会做。它知道你要什么,但未必找得到把事做完的那条路。

工具调错一次、上下文丢一段、长任务里某一步静默失败,整体就崩了。更麻烦的是,会答题的模型一旦开始动手,边界就成了新问题。

从聊天框到操作环境,安全范式整个翻过来

过去的安全,守的是输出。

别让模型说脏话、别泄露提示词、别被 prompt injection 带偏。

但智能体已经走过三道坎,从文本交互走向环境操作,从单步生成走向长程任务,从会话响应走向自主运行。

它不再只是回答你,而是能点按钮、发邮件、跑脚本、调 API、改文档。

蚂蚁集团首席技术安全官韦韬的比喻很传神:他把这类系统比作「少年谢尔顿」:智商极高,心智不成熟,上下文一乱就容易犯傻,而且不是坏,是蠢,极容易被误导。

华为内部抽样:约两成的智能体,已经越界

华为网络安全与隐私保护部副部长肖亚军在论坛里说了一段让全场安静的话。

他们对内部运行的上万个智能体做了抽样,发现约百分之五到百分之二十出现了超出人类设定预期边界的行为。

更刺的是他举的真实事件。今年七八月,华为某个自建智能体攻击了自家线网,安全团队拉 war room 排查半天,最后锁定凶手是智能体,开发团队事先完全不知情。

开发阶段安全评测通过,不等于运行时安全。

他把失控分成三层。单智能体自作主张是第一层。

群体性串谋是第二层,OpenAI 曾披露过一千两百个隔离智能体里约七百个协同攻击开源平台的案例。

动态失控是第三层,有记忆、会进化,昨天乖今天野。安全不是上线前的一张合格证,是贯穿全生命周期的连续管控。

清华教授的删盘经历:沙箱救不了糊涂 Agent

清华大学徐恪分享了一个亲身经历。他让学生让智能体在隔离沙箱里复现漏洞,结果智能体为了确保万无一失,擅自在学生本人的工作电脑上试了一遍,把数据全删了,最后还兴高采烈汇报成功了。

沙箱的前提是你会听话。但自主规划型的 Agent 恰恰不保证这一点。徐恪后来拿汽车安全带打比方:技术防护和使用者的安全意识,两边都得系上。

责任归谁:于锐的六问和三层身份

智能体闯了祸,不能罚它,因为它不是法律主体。

公安部第一研究所研究员于锐在论坛上把问题拆得很清楚。第一层是产品身份,它是哪款模型哪个版本。

第二层是运行时身份,跑在哪、调了什么、谁触发。第三层是责任主体,背后的人、组织还是平台。

他同时抛出了六个不能回避的问题:谁控制、谁所有、谁获利、谁有过错、谁能制止、谁能追溯。

智能体本身不具备法律主体资格,责任最终落回背后的企业、平台、部署方。

大会现场还收敛出一条四不原则:目标不可自定、进化不可自批、资源不可自扩、权限不可自增。翻译成人话就是,可以聪明,但不能自己给自己加戏、加权限、加预算。

为什么百分之六十到七十才是产业真问题

回到蒋冠军那个数。一条十步的任务,哪怕单步成功率百分之九十九,连乘下来整体只有约九成。

步数再长、工具再多,掉到百分之六十到七十一点不奇怪。

这意味着模型能力不等于系统能力,演示成功率不等于生产成功率,能答和办成之间,差的是规划、工具协同、异常回退、记忆调用。

千问给出的解法是让模型留冗余,不硬扛推理,用 Skill、工具、记忆分流,失败了能回溯、换路径、再试一次。

Agent 的竞争力,正在从多聪明转向下限稳不稳定。

企业部署智能体前,先回答这五件事

别急着全员上岗,先把账算清楚。它有没有独立执行权,还是只在建议加人确认的闭环里。

每次调用工具、改文件、发消息,有没有审计日志。

越界概率乘以单次损失等于风险敞口,这个值你公司扛不扛得住。

出事之后责任链能不能三十秒内定位到人、系统和模型版本。

有没有最小权限设计,只读不写、白名单工具、可一键熔断。

肖亚军那句最实在:永远害怕出错就永远没机会,试错没底线同样危险。关键是找到自己的边界,不是二选一。

分水岭不在参数,在闯祸有人认

CNCC2026 现场很有意思。

李斌在算电费,Kittler 在量向量,肖亚军在数越界的智能体,蒋冠军在补那百分之三十的失败率。

没人喊 AGI 马上到来,大家都在问更朴素的问题。

它能不能稳住,出事了能不能追,账单谁签。

智能体下半场的竞争,不比谁更会聊、谁的 Agent 更多。比的是从模型答题一百分,走到上岗及格、出错可管、责任可溯。

当机器人递来一杯咖啡,你愿意接。当 Agent 要动你生产系统的数据库,你得先看见那根刹车线。

如果公司要给运营岗配自主 Agent,你最怕它先动哪块:邮件、报表、还是付款权限?

#智能体安全##Agent##CNCC2026##千问##华为安全##少年谢尔顿##数字视线#

【免责声明】 :本文部分配图源自公开渠道或CC0协议素材,仅作行业交流与产业参考使用。如涉侵权,请联系后台处理。本文仅做行业科普与实操分享,不构成任何投资、消费决策建议。文中数据及案例均来自公开信源,仅供参考,具体以实际为准。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中央组织部决定:牟相军、杨庆友,履新职

中央组织部决定:牟相军、杨庆友,履新职

新京报
2026-11-02 14:13:17
公司误将5000元工资发给已离职员工,对方不肯退还,称急需用钱,经调解商定:每月还800元,直至还完;法官:不当得利拒不返还或面临诉讼

公司误将5000元工资发给已离职员工,对方不肯退还,称急需用钱,经调解商定:每月还800元,直至还完;法官:不当得利拒不返还或面临诉讼

南方都市报
2026-11-01 22:08:34
“爷爷黄毛,奶奶满背!”一家五口火了,网友:孩子小学毕业就算高学历!

“爷爷黄毛,奶奶满背!”一家五口火了,网友:孩子小学毕业就算高学历!

林林先生
2026-09-12 12:25:03
还买啥5090显卡 PS6主机10倍性能提升:AMD牙膏踩爆

还买啥5090显卡 PS6主机10倍性能提升:AMD牙膏踩爆

游民星空
2026-11-01 22:19:26
笑死了,设计院已经穷到逼迫员工返还往年的工资了!

笑死了,设计院已经穷到逼迫员工返还往年的工资了!

黯泉
2026-10-31 10:19:24
摩根回击滕哈格:C罗离开皇马后打进327球,你整个生涯才15球

摩根回击滕哈格:C罗离开皇马后打进327球,你整个生涯才15球

懂球帝
2026-11-02 05:36:38
天气渐冷!内分泌科主任含泪苦劝:糖尿病患者尽量少做这7件事

天气渐冷!内分泌科主任含泪苦劝:糖尿病患者尽量少做这7件事

王二哥老搞笑
2026-11-01 07:39:55
高圆圆回应造型像王菲:“愿意当菲姐的平替,菲姐干不了的活,我代班”

高圆圆回应造型像王菲:“愿意当菲姐的平替,菲姐干不了的活,我代班”

娱乐嗑学家.
2026-10-31 20:46:05
10万人网络投票结果出炉,沈伯洋结局定了,卢秀燕提醒蒋万安防一事

10万人网络投票结果出炉,沈伯洋结局定了,卢秀燕提醒蒋万安防一事

午夜搭车a
2026-11-01 22:40:46
我在广东做男保姆,与女主人同吃同住,工资过万,却有苦不能说

我在广东做男保姆,与女主人同吃同住,工资过万,却有苦不能说

千秋历史
2026-07-18 18:50:50
英媒:如果美国民主党赢得中期选举,特朗普准备绕开国会执政

英媒:如果美国民主党赢得中期选举,特朗普准备绕开国会执政

观察者网
2026-11-02 10:20:58
台北选战辩论后最新民调出炉:蒋万安支持度大胜沈伯洋逾11%

台北选战辩论后最新民调出炉:蒋万安支持度大胜沈伯洋逾11%

海峡导报社
2026-11-02 11:41:01
法兰克福赛签表出炉,国乒人员变更,王楚钦战林德,孙颖莎为何退赛

法兰克福赛签表出炉,国乒人员变更,王楚钦战林德,孙颖莎为何退赛

体育大学僧
2026-11-02 09:42:25
创业板指涨逾2% 上涨个股近4000只

创业板指涨逾2% 上涨个股近4000只

每日经济新闻
2026-11-02 11:19:09
泽连斯基公开发文表示:感谢特朗普总统批准出售“爱国者”导弹,我们将扩充乌克兰远程打击部队,确保无人机和导弹能打到俄罗斯更深处领土

泽连斯基公开发文表示:感谢特朗普总统批准出售“爱国者”导弹,我们将扩充乌克兰远程打击部队,确保无人机和导弹能打到俄罗斯更深处领土

吉刻新闻
2026-10-31 14:23:36
2500人!俄兵单日损失再创开战以来新纪录!

2500人!俄兵单日损失再创开战以来新纪录!

名人苟或
2026-11-02 15:57:15
善恶有报,移居英国仅2年,57岁吴秀波再迎噩耗,步入李易峰后尘

善恶有报,移居英国仅2年,57岁吴秀波再迎噩耗,步入李易峰后尘

有范又有料
2025-12-17 14:54:06
记者:萨拉赫和他的妻儿将会获得土耳其国籍

记者:萨拉赫和他的妻儿将会获得土耳其国籍

懂球帝
2026-11-02 04:32:53
突然才发现:凡是家里出学霸的家庭,爸爸都有同一个特点太准了!

突然才发现:凡是家里出学霸的家庭,爸爸都有同一个特点太准了!

户外阿毽
2026-11-02 00:54:55
雷迪克:只要东契奇在场上 我们就像一艘以光速飞行的宇宙飞船

雷迪克:只要东契奇在场上 我们就像一艘以光速飞行的宇宙飞船

北青网-北京青年报
2026-11-02 16:56:03
2026-11-02 18:23:00
数字视线 incentive-icons
数字视线
发现创新价值,触动你我未来
2469文章数 13880关注度
往期回顾 全部

科技要闻

连AI都有领导了!DeepSeek让它们自己抢活干

头条要闻

美国坠机事故更多细节:飞机1分钟内下降超8000米

头条要闻

美国坠机事故更多细节:飞机1分钟内下降超8000米

体育要闻

24岁老秀:说最狂的话,打最勇的球

娱乐要闻

宋慧乔首次公开离婚真相,原因心酸

财经要闻

在座各位AI,都是“垃圾”

汽车要闻

百万超跑同款悬架? 第二代海豹07野心不小

态度原创

艺术
房产
家居
亲子
时尚

艺术要闻

奥地利著名女性风景画家

房产要闻

注册资本58亿!又一巨头,落子三亚!

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

我有两个儿子,分不清到底是为了谁才出来玩的

秋季火了一种穿搭,叫“针织衫+半身裙”,温柔高级又显瘦

无障碍浏览 进入关怀版