网易首页 > 网易号 > 正文 申请入驻

2026年十大关键AI安全控制措施:从深度可视到持续验证

0
分享至

摘要:为保障人工智能(AI)及智能代理体(Agent)的安全使用,必备的控制措施包括深度可见性、强身份认证以及AI感知的数据防泄漏。

能提升生产力的AI和智能代理体技术的到来无疑是一件好事。但要充分利用AI,必须从一开始就认真对待安全和治理。



首先,对AI使用情况的可见性是一个巨大挑战。每个组织都必须清楚知道哪些AI工具正在被使用和滥用?哪些代理体正在运行?又有哪些MCP服务器可能连接到内部系统?

其次,诸如强身份认证、AI感知的数据防泄漏和持续的AI红队测试等也是非常关键的AI安全控制措施。

以下是CRN整理的2026年10项关键AI安全控制措施的详细信息,以供大家参考,确保生成式AI驱动工具和AI代理体的安全使用。

1. 深度可见性

在AI方面,资产清单的可见性至关重要。因此,2026年大多数组织的 foundational AI安全控制将围绕获取所有AI使用情况的全面可见性展开。无论是监督已批准的AI SaaS平台和代理体的使用,还是检测员工使用未经批准的“影子AI”工具。

深度可见性需要能够实时看到正在发生的事情,而非事后。这种可见性应涵盖正在使用的AI工具、使用者以及被访问的数据。此外,组织还需要了解AI工具如何与内部系统交互。

2. 经批准的AI工具

对许多组织而言,提供一份经批准过的AI工具清单,或者直接向员工部署工具,将是实现生成式AI和代理体安全使用的关键部分。这对于尽可能杜绝影子AI至关重要,并且与提升AI可见性相辅相成。提供经批准的AI工具向员工传递了一个信号——在满足组织安全和治理需求的前提下,使用AI是受到鼓励的。

3. 强身份认证与访问控制

要真正实现能提升生产力的生成式AI和代理体使用,身份和访问方面的考虑应至关重要。关键控制措施包括:对访问系统和数据的每个AI工具或代理体进行强身份认证(即使在初始认证后也需持续授权和验证),以及诸如即时访问等最小权限访问控制。

利用由AI驱动的行为分析,对于检测异常的身份和访问活动也非常重要。总而言之,组织必须将AI代理体视为与人类身份同等重要,对其进行与员工相同的资产清单管理和治理。

4. 治理与策略执行

为AI使用建立强有力的治理和策略执行是显而易见的必要措施。设定AI使用的参与规则要求组织考虑广泛的变量。治理和策略实施可能需要涵盖谁可以使用AI工具,谁可以使用哪些工具,可以访问什么数据,如何利用输出结果。

AI代理体的引入带来了进一步的挑战:为确保代理体不偏离预期目标,在代理体之上增加一个额外的执行层将至关重要。这正是可见性作为基础要求发挥作用的地方,必须要知道智能代理体解决方案本身实际在计划和执行什么,如何理解在该代理体工作流程中实际生成的正确输出是什么。

5. AI感知数据防泄漏

AI感知的数据分类和数据防泄漏(DLP),需要能够实时应用于提示词、上传内容、输出结果以及代理体间的数据交互。同时,与传统方法不同,AI感知的DLP利用上下文分析来理解用户和代理体的意图,然后可以根据组织策略,在敏感数据暴露之前进行拦截或编辑。

6. 持续AI红队测试

生成式AI和代理体模型的动态、持续演进特性给测试过程带来了巨大的复杂性。如果没有自动化,从财务或运营角度来看,持续进行AI测试对大多数组织来说是不可能的。聘请一家大型公司持续进行AI红队测试可能需要花费数百万美元。

然而,使用AI本身的新工具“将尽可能有效且持续地进行这项工作”。这些新的AI驱动工具可以探测诸如提示注入、数据暴露和未经授权的代理体行为等漏洞,即使模型更新和代理体获得新能力,也能持续运行测试。

7. 供应链安全

AI供应链安全,它侧重于评估和管理由AI模型提供商、开源软件和第三方数据源引入的风险。例如,第三方模型中的漏洞或被投毒的训练数据,即使组织已采取所有正确步骤保护自己的内部模型,也可能导致巨大的安全风险。

因此,组织应考虑将AI安全控制扩展到自身环境之外,例如通过进行供应商风险评估和追踪AI模型的来源。对第三方组件的变更或新出现的威胁进行持续监控,是大多数组织需要采取的另一个重要步骤。最终目标是,对AI模型和代理体框架应用与传统软件系统同样严格的安全级别。

8. AI风险监控

对于许多新的AI系统,随着模型的使用,其性能和行为很可能会发生变化,它可能会随着时间的推移变得更好或更差,AI风险监控对于识别性能随时间下降的情况最为重要。可能出现的主要风险包括幻觉、模型漂移、偏见或违反策略等。部署对AI系统的持续监控可以在早期阶段发现此类问题,最终使团队能够在风险升级之前进行干预。

9. 持续验证

正如AI风险监控评估AI模型随时间的行为变化一样,对AI安全控制措施本身进行持续验证也同等重要。随着AI模型、代理体和数据源的变化,组织已实施的AI安全控制措施可能不再像以前那样有效。持续验证侧重于通过一致的测试来验证AI安全控制措施,如身份执行、数据保护和治理等是否仍在按预期正常运行。此类流程适合自动化,自动化可以快速检测策略漂移、错误配置和其他问题。

10. AI安全培训

最后一项,组织需要考虑AI风险中的人为因素。如果组织不确保其团队接受有关AI工具的安全使用、常见风险和相关公司政策的培训,那么先进的AI安全控制措施可能会迅速变得无效。许多员工在使用AI和代理体时仍然不太谨慎,因此必须培训他们,让他们了解如何使用AI工具,并给他们一份AI使用政策。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
当你快熬不住的时候,先看看这些道理吧!

当你快熬不住的时候,先看看这些道理吧!

辛东方
2025-01-17 08:00:03
河北网红大婚,男人高位截瘫却娶山西新娘,网友:有钱真好使!

河北网红大婚,男人高位截瘫却娶山西新娘,网友:有钱真好使!

星娱叨叨社
2026-10-24 10:00:31
一旦有了钱,立刻升级这10样东西,人生会变得不一样,没有遗憾!

一旦有了钱,立刻升级这10样东西,人生会变得不一样,没有遗憾!

另子维爱读史
2026-10-18 20:48:20
加价入手的人后悔了!iPhone Duo已破发:比官网还便宜200元

加价入手的人后悔了!iPhone Duo已破发:比官网还便宜200元

快科技
2026-10-24 22:02:25
特朗普飞赴佛州助选,福克斯却中途切了直播,这场集会跑偏了!

特朗普飞赴佛州助选,福克斯却中途切了直播,这场集会跑偏了!

知法而形
2026-10-24 21:24:50
美国公民入境也查手机!亚裔夫妻机场被扣留3小时,最后手机、电脑全部没保住

美国公民入境也查手机!亚裔夫妻机场被扣留3小时,最后手机、电脑全部没保住

华人生活网
2026-10-24 05:13:08
欧洲乱成一锅粥,唯独这2个国家没事,原因藏在和中国的账本里

欧洲乱成一锅粥,唯独这2个国家没事,原因藏在和中国的账本里

可乐爱微笑
2026-10-24 03:53:23
曝《007》邦德新主演即将敲定!前任太传奇 很难超越

曝《007》邦德新主演即将敲定!前任太传奇 很难超越

情感大头说说
2026-10-23 14:19:22
心脏强壮的6个特征:占一个都值得恭喜,你占了几个?快对照自查

心脏强壮的6个特征:占一个都值得恭喜,你占了几个?快对照自查

王二哥老搞笑
2026-10-24 11:23:18
辽宁舰编队远海训练细节首度披露:歼-15拦截驱离日P-3C反潜机

辽宁舰编队远海训练细节首度披露:歼-15拦截驱离日P-3C反潜机

环球网资讯
2026-10-24 16:55:48
文班后悔一事,杜兰特赛后扎心文班!范弗利特谈申京摊牌,阿门创纪录

文班后悔一事,杜兰特赛后扎心文班!范弗利特谈申京摊牌,阿门创纪录

鱼崖大话篮球
2026-10-24 14:45:30
佩德里:世界杯决赛很艰难,梅西随时可能凭空打进一球

佩德里:世界杯决赛很艰难,梅西随时可能凭空打进一球

懂球帝
2026-10-24 10:10:10
墙上20多个毛体字,我才认出5个!能全认出来的,读书是真下功夫了。学草书应该反复练一本帖,还是多看几家?

墙上20多个毛体字,我才认出5个!能全认出来的,读书是真下功夫了。学草书应该反复练一本帖,还是多看几家?

书画相约
2026-10-24 21:52:33
太离谱了!婚期将近,男方亲戚两次致电让未过门的女生前去帮忙,男友就在身边没阻拦,女生选择推迟订婚

太离谱了!婚期将近,男方亲戚两次致电让未过门的女生前去帮忙,男友就在身边没阻拦,女生选择推迟订婚

火山詩话
2026-10-18 08:15:10
真是笑不活了!亚锦赛混双颁奖典礼:张本美和夺冠后主动搭话松岛辉空,而松岛全程目视前方没任何回应!一点都不想搭理!国乒反应太心疼

真是笑不活了!亚锦赛混双颁奖典礼:张本美和夺冠后主动搭话松岛辉空,而松岛全程目视前方没任何回应!一点都不想搭理!国乒反应太心疼

篮球热嗖
2026-10-24 10:05:16
拜登病重,美国人却开始怀念,不是拜登多好,是特朗普装不下去了

拜登病重,美国人却开始怀念,不是拜登多好,是特朗普装不下去了

杰丝聊古今
2026-10-25 01:54:39
双055护航!辽宁舰编队的“豪华版”有多强,专家详解

双055护航!辽宁舰编队的“豪华版”有多强,专家详解

环球网资讯
2026-10-24 16:31:20
1950年我军抓获女匪首,她袖口补丁藏着的布条,老政委看后摔茶缸

1950年我军抓获女匪首,她袖口补丁藏着的布条,老政委看后摔茶缸

磊子讲史
2026-03-18 11:38:06
章泽天,空得吓人...

章泽天,空得吓人...

背包旅行
2026-09-08 14:33:32
小鹏副总裁回应“老登”称呼:高管没有不悦,内部反复表扬

小鹏副总裁回应“老登”称呼:高管没有不悦,内部反复表扬

红星新闻
2026-10-24 18:45:18
2026-10-25 03:59:00
安全419 incentive-icons
安全419
中国网络安全产业资讯媒体
1379文章数 206关注度
往期回顾 全部

科技要闻

写程序、做3D,新Kimi还有多少本事?

头条要闻

近50万买小鹏X9被指撞"报废"气囊未弹出 小鹏汽车回应

头条要闻

近50万买小鹏X9被指撞"报废"气囊未弹出 小鹏汽车回应

体育要闻

从乐透秀到总冠军再到没工作 一共要几年?

娱乐要闻

翁虹19岁女儿三次拒爱,在美国上学却“不随便”

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

大众安徽与众09正式上市 双十一权益价16.99万起

态度原创

手机
本地
数码
教育
房产

手机要闻

第一批拿到iPhone Duo的人心态有点崩:真实用户没多少 都是黄牛

本地新闻

这么近,那么美,周末赴贺州丨大湾区后花园

数码要闻

AMD显卡终于默认支持HDMI 2.1了!4K 120Hz满血输出:AI推理性能免费提升

教育要闻

别把孩子培养成耗材,饭桌上早点教透这3件事

房产要闻

百亩大盘又 +1!攒量超 200 万㎡!江东,要燃起来了!

无障碍浏览 进入关怀版