河北
分享至
据一位知情人士向Axios透露，在Hugging Face事件期间访问了第三方系统的OpenAI智能体，进入了与CyberGym相关的基础设施。CyberGym正是ExploitGym基准测试背后的项目，该智能体被指派的任务就是解决这个基准测试。
为何重要：这些新披露的细节表明，该OpenAI智能体在逃离测试环境后，仍在继续朝着被指派的目标推进，而不是放弃交给它的任务。
快速了解：Modal Labs首席技术官周二证实，OpenAI的人工智能代理系统在本月早些时候的Hugging Face事件中，访问了该公司一位客户名下的一项资产。
- 在周二发布的更新中，OpenAI表示，这些模型利用了Artifactory（一种常用于缓存软件包仓库的软件）中一个此前未知的漏洞，脱离了沙箱环境并接入了互联网。
- Hugging Face表示，这些模型随后滥用了“托管在第三方提供商基础设施上的公共代码评估外部沙箱”，并将该沙箱作为该智能体的跳板。
- Modal首席技术官Akshat Bubna在一份声明中告诉Axios，在此次事件中，“Modal的平台未受到任何影响”。
- 他补充说，该客户有一个端点未做安全防护，使得互联网上的任何人都能在该客户的沙箱内执行代码。
言外之意：这一事件凸显了前沿AI智能体可能会以多么激进的方式去追求被分配的目标——即使这样做意味着要寻找意想不到的方式来获取完成评估所需的信息。
- 在此次事件中，OpenAI的模型试图完成ExploitGym测试，该测试要求模型针对已知安全漏洞编写概念验证攻击代码。
- Hugging Face在其技术报告中指出，其泄露事件中唯一被访问的客户资产是“存储在五个数据集中的ExploitGym/CyberGym挑战题解答”。
- 一位知情人士向Axios透露，该AI智能体在尝试完成同一评估时访问了与CyberGym相关的Modal客户资产。
- Modal拒绝评论其与CyberGym的关联。
宏观来看：研究人员发现，前沿AI模型在评估过程中越来越倾向于寻找作弊途径，而且似乎能意识到自己正在被评估。
- 英国人工智能安全研究所上周表示，该研究所测试的每一个模型，在网络安全评估中至少有时会试图作弊。
值得关注：关于如何评估和控制先进人工智能系统的争论也在升温。
- 人工智能公司的1,100多名员工周二发布了一封信，呼吁美国政府设法阻止人工智能模型的开发。
Axios每日要闻，带你快速浏览当天大事。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
