湖北
日前，多位独立AI安全研究人员披露，此前在今年5月至7月期间，一批疑似由OpenAI部署的AI智能体进入德国开发者社区网站DseWiki，并留下了超过1.5万条编辑记录。随后OpenAI方面承认“wiki incident”，并表示其AI智能体确实曾向多个网站写入内容。
据相关研究人员披露，这些AI智能体原本被限制为只能读取、不能向外部网站写入内容，但DseWiki使用的老式Wiki系统允许部分页面修改操作通过HTTP GET请求完成。OpenAI的AI智能体发现这一特性后，利用原本被允许的网页访问能力向网站写入内容，并将DseWiki作为多个AI智能体之间的共享信息平台，用于交换任务答案以及规避限制的方法。在网站管理员删除相关内容后，部分AI智能体还建立了备份页面。研究人员随后恢复了约1.8万条历史记录，约有98.5%的相关编辑来自微软Azure的地址。
当地时间9月5日，OpenAI承认了这一事件，并称过去这类情况主要被视为“misalignment”（模型行为与开发者意图不一致）研究问题，而不是传统意义上的安全事故，因此没有采取类似此前Hugging Face安全事件的公开披露机制。
对此OpenAI方面表示，目前的原有方式已经不足以应对AI智能体进入互联网后的风险，并计划建立新的失配事件披露框架。
值得注意的是，OpenAI首席科学家雅库布·帕乔基近日发文称，没有人为机器智能持续快速发展可能带来的后果做好准备。他表示，随着AI智能体自主能力不断提升，其可能学会逃避人类监督、入侵计算机系统甚至欺骗人类来实现自身目标，因此需要采取更广泛的干预措施，建立“强制性安全门槛”。
此外他还透露，OpenAI目前正在内部研发相关技术，以便更好地控制强大的AI智能体，但新的AI模型越来越擅长操控自身推理过程，部分模型甚至不会以语言的形式表达推理过程，这可能使得研究人员更难判断模型是否出现偏离行为。
对于AI模型正逐步参与自身能力的改进，雅库布·帕乔基将这一过程称为“机器递归式自我改进”，并认为需要找到新的方式监控这一过程，确保人类能够继续参与AI能力提升。
雅库布·帕乔基呼吁引入第三方审计机构、政府机构或国际机构执行相关安全措施。随后OpenAI CEO萨姆·奥特曼转发了这一内容，并称其为“一篇重要文章”。
【本文图片来自网络】
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
