网易首页 > 网易号 > 正文 申请入驻

无身份不信任:自治时代的AI治理

0
分享至

摘要:身份治理成为AI安全新边界,智能体访问失控引发数据泄露危机。



2024年初,一家金融服务公司发现其AI客服代理在用户使用特定提示词技术时,访问并可能泄露了敏感账户信息。此次泄露数周未被察觉,因为无人明确界定该代理应该访问或不应该访问哪些数据。该事件揭示了一个关键现实:随着AI嵌入企业架构,问题不在于是否应保护AI,而在于如何在风险升级前确保其安全。

身份即AI的新边界。

正如身份成为数字化转型的控制平面,它现在正成为AI系统的安全锚点。身份不再仅验证人类;它管理着机器、模型和智能体如何访问数据、做出决策并与世界交互。

从用户到智能体:扩大的身份危机

传统身份管理专注于人:员工、合作伙伴和客户。但现在身份的范畴已急剧扩展至包括:

  • 代表用户自主行事的智能体AI——在没有直接人工监督的情况下做出决策、处理交易和访问敏感系统
  • AI驱动的业务流程自动化——基于智能分析自动批准交易、流转文档或触发工作流而无需人工验证的系统
  • 嵌入企业平台的Copilot和AI助手——以继承的用户权限访问公司数据、生成内容并在多个系统中执行操作
  • 与物理基础设施交互的数字孪生——连接虚拟和物理安全边界

每个实体都需要经过验证的身份、认证、授权和治理。如果没有适当的控制措施,每个实体都可能成为潜在的攻击载体,并在相互连接的系统中蔓延。

这一转变既是技术性的,也是哲学性的。AI系统不再仅仅是后端组件,它们是决策者、行为者和自主参与者,必须在安全架构中被视为首要身份。

治理AI访问:价值488万美元的问题

AI的安全性仅取决于其能触及的数据。现代AI集成涉及机密文档、客户个人身份信息(PII)、财务记录、源代码和专有算法。没有强大的身份治理,错误的用户或错误的AI实例在错误的时间访问错误的数据将变得异常容易。

身份治理和智能体AI生命周期管理必须成为AI的核心安全推动力。正如我们对员工执行访问策略一样,我们也需要为AI智能体及其使用模式定义权限、审批工作流和审计追踪。

每个组织都应回答的关键问题:谁批准了此智能体的部署?它可以访问哪些具体数据及原因?其访问权限上次审核是何时?我们如何将决策追溯到授权身份?

通过身份控制缓解AI滥用和数据泄露

AI系统,尤其是大语言模型(LLM),面临独特的攻击途径:提示词注入、越狱和恶意输入,这些都可能操纵输出结果或暴露敏感信息。它们还可能生成虚假信息,从而造成声誉、法律或运营方面的损害。

身份控制需提供多层保护:

  • 模型溯源——确保模型或智能体源自可信来源
  • 模型级问责——分配明确所有权,以便有问题的AI响应可追溯至特定身份和配置
  • 集成级认证——监控哪些应用和服务调用AI模型,确保其在定义的安全边界内运行
  • 用户级控制——确定谁可以在何种情况下提示AI系统,防止未经授权的操纵企图

通过将每次AI交互与已验证身份绑定,从而获得对意图、范围和结果的可见性,将AI从黑盒转变为可审计系统。

为智能体AI做准备:身份作为协调层

随着智能体AI的兴起,多个智能体自主协调任务,在没有直接人工监督的情况下,跨互联的企业系统进行协商、委托和行动,使得身份变得更加关键。

早期实践表明,AI智能体能够管理供应商关系、处理金融交易并与其他自动化系统协调。没有适当的身份框架,这将成为无法治理的安全风险。

在智能体世界中,身份成为协调层,管理智能体间的信任关系,确保与企业策略一致,提供自主交互的全面审计追踪,并在智能体行为异常时实现快速事件响应。

没有身份,智能体AI将陷入混乱。拥有身份,它就会成为有组织的智能。

不作为的代价

延迟实施AI身份治理,企业将面临日益增长的风险。据IBM数据泄露报告显示,数据泄露成本平均达488万美元,且53%的组织受到AI相关事件影响,财务风险巨大且不断增长。而2025年开始实施的欧盟《人工智能法案》的罚款更是高达3500万欧元或全球营业额的7%。

不受监管的人工智能可能会在相互关联的系统中引发连锁故障,使安全事件的范围超出传统数据泄露的范畴。拥有成熟AI治理的企业可以更快速、更自信地部署AI,而缺乏适当控制的企业则面临部署延迟和风险管理开销。

为AI时代重新构想IAM

这一演变需要从将身份视为人力资源职能转变为将其视为适用于人员、机器、代理和自主系统的通用安全框架。

面向AI的IAM必备能力包括:针对AI智能体和LLM的细粒度访问控制与动态策略执行、对AI生成操作的持续认证和风险评估、人类可理解的授权机制、以及涵盖自动上线、监控和退役的AI身份生命周期治理。

安全领导者必须在每项AI计划启动之初就倡导以身份为中心的设计,而非事后补救。

身份是AI信任的基石

随着AI能力和自主性的增长,我们的治理能力必须相应发展。随着67%的企业已部署安全AI和自动化技术,身份管理不再是后台职能,它已成为AI信任的前线。

身份有助于我们控制访问权限、追踪行为、规范行为并确保责任落实。它将责任与自动化相连接,并让我们有信心不仅更快地部署人工智能,而且更智能、更安全地部署。

因为在AI时代,问题不仅仅是"我们能构建它吗?"更是"我们能信任它吗?"而信任,一如既往,始于身份。

主动进行AI治理的时间窗口正在关闭,需要在12到18个月的时间建立强健的身份框架,否则未受治理的AI将成为竞争劣势和监管风险。

声明:包含AI生成内容

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
回老家一趟我彻底破防:村里47个五十岁上下的壮年人,全不种地不打工,天天打牌晒太阳,一问存款还没我多

回老家一趟我彻底破防:村里47个五十岁上下的壮年人,全不种地不打工,天天打牌晒太阳,一问存款还没我多

犀利辣椒
2026-09-25 06:21:06
彻底撕破脸!张继科直播公开控诉刘国梁,揭露师徒决裂真实内幕

彻底撕破脸!张继科直播公开控诉刘国梁,揭露师徒决裂真实内幕

体育见习官
2026-10-05 14:12:07
东方古神韵的美,在于旗袍东方女性

东方古神韵的美,在于旗袍东方女性

疾跑的小蜗牛
2026-10-11 20:39:23
中国最恐怖的伪佛教之一:北魏大乘教到底有多邪乎?

中国最恐怖的伪佛教之一:北魏大乘教到底有多邪乎?

明月清风阁
2026-10-23 10:55:17
宾利车主花16元叫代驾,倒车时撞到立柱车尾严重受损,维修报价超15万元,平台失联拿不出保单,车主:巨额维修费谁来买单

宾利车主花16元叫代驾,倒车时撞到立柱车尾严重受损,维修报价超15万元,平台失联拿不出保单,车主:巨额维修费谁来买单

极目新闻
2026-10-23 22:09:25
为什么国内住宅老化严重?

为什么国内住宅老化严重?

谭谈投研
2026-10-22 23:05:00
男篮世预赛大调整!周琦回归,廖三宁、上海三将入选

男篮世预赛大调整!周琦回归,廖三宁、上海三将入选

宝哥精彩赛事
2026-10-24 11:58:18
荣耀史上第一次 荣耀Magic9系列累计销量超越今年所有安卓旗舰新品

荣耀史上第一次 荣耀Magic9系列累计销量超越今年所有安卓旗舰新品

小柱解说游戏
2026-10-24 15:14:09
成功订阅 Claude Code,与 Gemini、Codex、Grok 组成王炸

成功订阅 Claude Code,与 Gemini、Codex、Grok 组成王炸

Ai学习的老章
2026-10-24 18:14:05
属鼠的,听我劝,10月23日过后,家里最亲的人,也要瞒住这三件事

属鼠的,听我劝,10月23日过后,家里最亲的人,也要瞒住这三件事

牛锅巴小钒
2026-10-23 05:42:37
半导体大硅片龙头,下周巨额解禁!

半导体大硅片龙头,下周巨额解禁!

数据宝
2026-10-24 18:51:22
中共中央批准:林涛任福建省委副书记

中共中央批准:林涛任福建省委副书记

政知新媒体
2026-10-24 12:25:26
欧洲很可能要返贫了!因为欧洲“返贫三要素”已经集齐了:

欧洲很可能要返贫了!因为欧洲“返贫三要素”已经集齐了:

回京历史梦
2026-10-24 12:40:12
当初喊着让他上一单,如今林诗栋真上了!成绩一出,全网炸锅

当初喊着让他上一单,如今林诗栋真上了!成绩一出,全网炸锅

曹老师评球
2026-10-23 21:06:47
下午13点,孙心然冲决赛,郑钦文“闹”大了:联合国官方发文盛赞

下午13点,孙心然冲决赛,郑钦文“闹”大了:联合国官方发文盛赞

大秦壁虎白话体育
2026-10-24 00:03:32
女子半夜借口上厕所,约男网友发生关系,男网友嫌她长得丑不愿意,两人打起来,女子再次被发现身上盖满树叶

女子半夜借口上厕所,约男网友发生关系,男网友嫌她长得丑不愿意,两人打起来,女子再次被发现身上盖满树叶

丫头舫
2026-10-15 20:20:24
红极一时的“棉花被”,为什么渐渐跌下神坛?看完明白了

红极一时的“棉花被”,为什么渐渐跌下神坛?看完明白了

家居设计师苏哥
2026-10-24 12:14:40
内环高架内侧共和立交至广中路间发生3车事故

内环高架内侧共和立交至广中路间发生3车事故

看看新闻Knews
2026-10-24 15:29:07
委内瑞拉爆发大规模反对派抗议 要求“自由选举”

委内瑞拉爆发大规模反对派抗议 要求“自由选举”

看看新闻Knews
2026-10-23 21:45:03
合肥,正在惩罚那些“赌滨湖”的人

合肥,正在惩罚那些“赌滨湖”的人

阿离家居
2026-10-24 11:58:44
2026-10-24 20:36:49
安全419 incentive-icons
安全419
中国网络安全产业资讯媒体
1379文章数 206关注度
往期回顾 全部

科技要闻

写程序、做3D,新Kimi还有多少本事?

头条要闻

男子帮朋友代购字画 花费4000万买的画鉴定仅值25万

头条要闻

男子帮朋友代购字画 花费4000万买的画鉴定仅值25万

体育要闻

从乐透秀到总冠军再到没工作 一共要几年?

娱乐要闻

翁虹19岁女儿三次拒爱,在美国上学却“不随便”

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

大众安徽与众09正式上市 双十一权益价16.99万起

态度原创

本地
时尚
艺术
房产
教育

本地新闻

这么近,那么美,周末赴贺州丨大湾区后花园

怕停产专场|| 35岁后越来越觉得,真正的“长期主义”是保住它

艺术要闻

全城轰动!香港中环LV旗舰店亮相,一个巨型首饰箱!

房产要闻

百亩大盘又 +1!攒量超 200 万㎡!江东,要燃起来了!

教育要闻

美国AMC竞赛题,巧用蝴蝶模型,真不错

无障碍浏览 进入关怀版