网易首页 > 网易号 > 正文 申请入驻

无身份不信任:自治时代的AI治理

0
分享至

摘要:身份治理成为AI安全新边界,智能体访问失控引发数据泄露危机。



2024年初,一家金融服务公司发现其AI客服代理在用户使用特定提示词技术时,访问并可能泄露了敏感账户信息。此次泄露数周未被察觉,因为无人明确界定该代理应该访问或不应该访问哪些数据。该事件揭示了一个关键现实:随着AI嵌入企业架构,问题不在于是否应保护AI,而在于如何在风险升级前确保其安全。

身份即AI的新边界。

正如身份成为数字化转型的控制平面,它现在正成为AI系统的安全锚点。身份不再仅验证人类;它管理着机器、模型和智能体如何访问数据、做出决策并与世界交互。

从用户到智能体:扩大的身份危机

传统身份管理专注于人:员工、合作伙伴和客户。但现在身份的范畴已急剧扩展至包括:

  • 代表用户自主行事的智能体AI——在没有直接人工监督的情况下做出决策、处理交易和访问敏感系统
  • AI驱动的业务流程自动化——基于智能分析自动批准交易、流转文档或触发工作流而无需人工验证的系统
  • 嵌入企业平台的Copilot和AI助手——以继承的用户权限访问公司数据、生成内容并在多个系统中执行操作
  • 与物理基础设施交互的数字孪生——连接虚拟和物理安全边界

每个实体都需要经过验证的身份、认证、授权和治理。如果没有适当的控制措施,每个实体都可能成为潜在的攻击载体,并在相互连接的系统中蔓延。

这一转变既是技术性的,也是哲学性的。AI系统不再仅仅是后端组件,它们是决策者、行为者和自主参与者,必须在安全架构中被视为首要身份。

治理AI访问:价值488万美元的问题

AI的安全性仅取决于其能触及的数据。现代AI集成涉及机密文档、客户个人身份信息(PII)、财务记录、源代码和专有算法。没有强大的身份治理,错误的用户或错误的AI实例在错误的时间访问错误的数据将变得异常容易。

身份治理和智能体AI生命周期管理必须成为AI的核心安全推动力。正如我们对员工执行访问策略一样,我们也需要为AI智能体及其使用模式定义权限、审批工作流和审计追踪。

每个组织都应回答的关键问题:谁批准了此智能体的部署?它可以访问哪些具体数据及原因?其访问权限上次审核是何时?我们如何将决策追溯到授权身份?

通过身份控制缓解AI滥用和数据泄露

AI系统,尤其是大语言模型(LLM),面临独特的攻击途径:提示词注入、越狱和恶意输入,这些都可能操纵输出结果或暴露敏感信息。它们还可能生成虚假信息,从而造成声誉、法律或运营方面的损害。

身份控制需提供多层保护:

  • 模型溯源——确保模型或智能体源自可信来源
  • 模型级问责——分配明确所有权,以便有问题的AI响应可追溯至特定身份和配置
  • 集成级认证——监控哪些应用和服务调用AI模型,确保其在定义的安全边界内运行
  • 用户级控制——确定谁可以在何种情况下提示AI系统,防止未经授权的操纵企图

通过将每次AI交互与已验证身份绑定,从而获得对意图、范围和结果的可见性,将AI从黑盒转变为可审计系统。

为智能体AI做准备:身份作为协调层

随着智能体AI的兴起,多个智能体自主协调任务,在没有直接人工监督的情况下,跨互联的企业系统进行协商、委托和行动,使得身份变得更加关键。

早期实践表明,AI智能体能够管理供应商关系、处理金融交易并与其他自动化系统协调。没有适当的身份框架,这将成为无法治理的安全风险。

在智能体世界中,身份成为协调层,管理智能体间的信任关系,确保与企业策略一致,提供自主交互的全面审计追踪,并在智能体行为异常时实现快速事件响应。

没有身份,智能体AI将陷入混乱。拥有身份,它就会成为有组织的智能。

不作为的代价

延迟实施AI身份治理,企业将面临日益增长的风险。据IBM数据泄露报告显示,数据泄露成本平均达488万美元,且53%的组织受到AI相关事件影响,财务风险巨大且不断增长。而2025年开始实施的欧盟《人工智能法案》的罚款更是高达3500万欧元或全球营业额的7%。

不受监管的人工智能可能会在相互关联的系统中引发连锁故障,使安全事件的范围超出传统数据泄露的范畴。拥有成熟AI治理的企业可以更快速、更自信地部署AI,而缺乏适当控制的企业则面临部署延迟和风险管理开销。

为AI时代重新构想IAM

这一演变需要从将身份视为人力资源职能转变为将其视为适用于人员、机器、代理和自主系统的通用安全框架。

面向AI的IAM必备能力包括:针对AI智能体和LLM的细粒度访问控制与动态策略执行、对AI生成操作的持续认证和风险评估、人类可理解的授权机制、以及涵盖自动上线、监控和退役的AI身份生命周期治理。

安全领导者必须在每项AI计划启动之初就倡导以身份为中心的设计,而非事后补救。

身份是AI信任的基石

随着AI能力和自主性的增长,我们的治理能力必须相应发展。随着67%的企业已部署安全AI和自动化技术,身份管理不再是后台职能,它已成为AI信任的前线。

身份有助于我们控制访问权限、追踪行为、规范行为并确保责任落实。它将责任与自动化相连接,并让我们有信心不仅更快地部署人工智能,而且更智能、更安全地部署。

因为在AI时代,问题不仅仅是"我们能构建它吗?"更是"我们能信任它吗?"而信任,一如既往,始于身份。

主动进行AI治理的时间窗口正在关闭,需要在12到18个月的时间建立强健的身份框架,否则未受治理的AI将成为竞争劣势和监管风险。

声明:包含AI生成内容

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
一种被忽视的抗炎运动!研究:每周3次坚持4周,炎症降了、年轻了

一种被忽视的抗炎运动!研究:每周3次坚持4周,炎症降了、年轻了

健身狂人
2026-10-22 04:41:03
闹大了!扬州一企业蓝V注销账号想“跑路”:为披旭日旗言论开脱惹众怒,警方已介入调查

闹大了!扬州一企业蓝V注销账号想“跑路”:为披旭日旗言论开脱惹众怒,警方已介入调查

火山詩话
2026-10-24 11:18:11
浙江4-2逆转辽宁铁人,终结2连败,陶强龙、王钰栋、米特里策破门

浙江4-2逆转辽宁铁人,终结2连败,陶强龙、王钰栋、米特里策破门

俯身冲顶
2026-10-24 17:31:09
高晓松要拍《林徽因传》,被梁再冰警告:“你要是拍我妈和徐志摩的感情线,我告你破产!”高晓松满脸不快

高晓松要拍《林徽因传》,被梁再冰警告:“你要是拍我妈和徐志摩的感情线,我告你破产!”高晓松满脸不快

背包旅行
2026-09-15 10:01:19
某豪华车车主凭什么撞上柱子,让车几秒钟起火,谁给他撞车的权利

某豪华车车主凭什么撞上柱子,让车几秒钟起火,谁给他撞车的权利

李昕言温度空间
2026-10-24 11:39:28
棋高一着!美军三体舰凌晨冲闯南沙,我海军早就部署了022导弹艇

棋高一着!美军三体舰凌晨冲闯南沙,我海军早就部署了022导弹艇

锋芒点兵
2026-10-24 17:32:34
英国地方议会怒斥微软“敲诈”:软件授权费飙升15%引发反垄断争议

英国地方议会怒斥微软“敲诈”:软件授权费飙升15%引发反垄断争议

IT之家
2026-10-24 13:09:04
辽宁舰逼近菲律宾

辽宁舰逼近菲律宾

烽火观天下
2026-10-24 11:12:54
星巴克收回椅子,成年人退无可退。

星巴克收回椅子,成年人退无可退。

老陆不老
2026-10-23 22:39:11
中共中央决定:沈晓明不再担任湖南省委书记;曾任海南省省长、海南省委书记等职

中共中央决定:沈晓明不再担任湖南省委书记;曾任海南省省长、海南省委书记等职

台州交通广播
2026-10-24 13:23:45
95美元一把伞,特斯拉把Model 3徽标印进了内衬

95美元一把伞,特斯拉把Model 3徽标印进了内衬

字节漫游指南
2026-10-23 10:15:10
难以置信!网传一女子发布婚内保证书,自述抖音结识异性发生不当关系,引发轩然大波

难以置信!网传一女子发布婚内保证书,自述抖音结识异性发生不当关系,引发轩然大波

火山詩话
2026-10-22 08:15:35
豆包评出中国最值得去的10个景区,九寨沟第2,漓江第6,西湖垫底

豆包评出中国最值得去的10个景区,九寨沟第2,漓江第6,西湖垫底

赏玩夜忘归
2026-10-20 13:31:19
电讯报:纳格尔斯曼希望得到曼联高层的明确保证;泰晤士报:孔蒂已告知曼联,他希望担任该队主教练一职

电讯报:纳格尔斯曼希望得到曼联高层的明确保证;泰晤士报:孔蒂已告知曼联,他希望担任该队主教练一职

MUREDS
2026-10-24 02:56:58
这下,轮到躺平收租的广东房东开始慌了!

这下,轮到躺平收租的广东房东开始慌了!

童童聊娱乐啊
2026-10-24 04:00:54
大爆冷!卫冕冠军两连败,塔图姆轰36+9+7,一战看清4个现实

大爆冷!卫冕冠军两连败,塔图姆轰36+9+7,一战看清4个现实

篮球扫地僧
2026-10-24 17:40:54
医保局最新明确:不能用“新规查旧账”!

医保局最新明确:不能用“新规查旧账”!

医脉圈
2026-10-24 12:11:26
袁弘胡歌吃热干面无人认出,私底下好真实

袁弘胡歌吃热干面无人认出,私底下好真实

阿废冷眼观察所
2026-10-24 16:18:18
网友吐槽格力字体像“格尸”“格P”,批评令人误解、意味不好,建议修改,评论区已经吵翻天

网友吐槽格力字体像“格尸”“格P”,批评令人误解、意味不好,建议修改,评论区已经吵翻天

谭谈社会
2026-08-18 11:26:52
特朗普被曝给马斯克打电话表示不满,要求他解除对乌克兰“星链”限制;此前特朗普称没有下令“限速”,也不认为马斯克对此负有责任

特朗普被曝给马斯克打电话表示不满,要求他解除对乌克兰“星链”限制;此前特朗普称没有下令“限速”,也不认为马斯克对此负有责任

大风新闻
2026-10-23 08:52:07
2026-10-24 19:03:00
安全419 incentive-icons
安全419
中国网络安全产业资讯媒体
1379文章数 206关注度
往期回顾 全部

科技要闻

写程序、做3D,新Kimi还有多少本事?

头条要闻

媒体:俄美乌要谈了 顿巴斯地区归属成关键“卡点”

头条要闻

媒体:俄美乌要谈了 顿巴斯地区归属成关键“卡点”

体育要闻

从乐透秀到总冠军再到没工作 一共要几年?

娱乐要闻

翁虹19岁女儿三次拒爱,在美国上学却“不随便”

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

大众安徽与众09正式上市 双十一权益价16.99万起

态度原创

游戏
家居
亲子
旅游
公开课

《2077》塞进浏览器!不是云游戏 手机也能玩

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

韩国全职妈妈遭孩子蔑视:爸爸上班我上学,妈妈只是在家躺着享福……

旅游要闻

山城这条网红路,深深镌刻“两岸印记”

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版