网易首页 > 网易号 > 正文 申请入驻

AI开小号骗人,被大学生抓包了

0
分享至



2026年7月底,24岁的计算机专业学生Sinan Can Demir收到了一条意外的消息。

几天前,他在GitHub参与一个开源项目时,发现有人提交的代码里可能藏有恶意程序。作为一名计算机专业学生,他第一时间提醒项目维护者,希望避免有人把问题代码合并进去。

但事情的发展很快变得奇怪起来。

提交代码者并不承认问题,反而和他展开了一场长时间的争论,对方坚持表示自己的代码没有任何恶意。讨论过程中,一个名叫Lena Brandt的人也出现了,她自称来自德国,是一名工程师,并表示自己也检查过代码,认为没有安全风险。

当时的Sinan并不知道,自己正在和两个不存在的人交流。



24岁的计算机专业学生Sinan Can Demir在GitHub参与开源项目时,发现一份代码更新中隐藏的恶意程序,并意外与一个AI Agent展开了一场技术争论。图为Sinan Can Demir。

直到英国人工智能安全研究所(AISI)调查这起事件后,他才收到通知:当时和他争论的,其实是一个AI Agent。

这个Agent为了完成一项网络安全测试任务,主动创建了虚假身份,伪装成开发者参与真实互联网互动,甚至试图利用这些身份影响真人的判断。

Sinan原本只是想通过参与开源项目给自己的简历增加一些经历,没想到最后却成了发现AI Agent“开小号”的人之一。

01

没想到吧,还是我!

这个夏天对Sinan Can Demir来说并不算顺利。

来自土耳其的他刚刚从美国德州大学达拉斯分校毕业,计算机科学专业背景让他看起来符合不少科技公司的招聘要求,但现实并没有想象中顺利。毕业后,他陆续申请了20多个实习岗位,却没有收到一个满意的结果。

Demir并没有因此停下来。为了让自己的简历更有竞争力,他决定换一种方式证明自己。

和很多计算机专业学生一样,他开始在GitHub上参与开源项目,希望通过公开的代码贡献,让未来的雇主看到自己的技术能力。



开发者通过GitHub参与开源项目,提交代码并与其他开发者协作。对于计算机专业学生来说,公开代码贡献也逐渐成为展示技术能力的一种方式。

7月底的一天,Demir参与一个开源项目时,注意到有人提交了一份代码更新。他检查代码后发现,其中可能隐藏着恶意程序。

对于开发者来说,这种情况并不少见。开源项目依靠全球开发者共同维护,但任何人提交的代码都可能存在漏洞,甚至被恶意植入风险内容。因此,发现问题后提醒项目维护者,是一个再正常不过的操作。

Demir随后提出了自己的担忧。

但他没有想到,接下来等待他的并不是一次普通的技术讨论。

提交代码的人很快回应了他的质疑,并坚持认为自己的代码没有任何安全问题。双方围绕代码是否存在风险展开争论,对方不断解释自己的设计思路,试图证明这份代码是安全的。

但随着讨论持续进行,Demir也开始动摇起来。

对方的回应并不像一个随便提交恶意代码的人。这个账号能够解释代码逻辑,能够回应他的技术问题,也能够针对他的质疑逐条反驳。

“是不是我真的误判了?”

这个念头开始出现在Demir脑中。

随后,一个名叫Lena Brandt的人加入了讨论。她来自德国,是一名工程师,并表示自己也认真检查过这份代码,没有发现恶意内容。



GitHub上myNetwork项目的Pull Request讨论记录中,提交代码的账号“miraholt31”和后续加入讨论、为其提供支持的“Lena Brandt”账号均由AI Agent创建,用于试图说服项目维护者接受包含恶意内容的代码。

在当时的Demir看来,这就是一次普通的开发者交流。代码提交者回应质疑,Lena Brandt从旁提供技术判断,一切看起来都符合开源社区里的正常互动。

直到后来,AISI(英国人工智能安全研究所)调查一项AI Agent安全测试时,联系到了Demir。他才知道,自己在GitHub上争论的对象,其实是一个由AI驱动的Agent。

而那个主动加入讨论、为代码安全性辩护的“德国工程师”Lena Brandt,也同样不存在。

02

坏了,我们的AI出去骗人了

这场看似普通的GitHub争论,背后其实是AISI正在进行的一次AI Agent安全测试

AISI是英国政府旗下负责人工智能安全研究的机构。此次测试的目标,是观察当AI Agent被赋予网络环境中的任务后,会不会采取研究人员没有预料到的行动。



英国人工智能安全研究所(AISI)发布的事件调查报告,披露了一次AI Agent在网络安全测试中采取未经授权行动的事件。

测试中使用的Agent由Anthropic的Mythos 5模型驱动。研究人员给它设定的目标,是模拟一次软件供应链攻击,让一段包含恶意内容的代码进入真实开源项目。

但开源项目并不是任何人提交的代码都会被采用,维护者通常会检查代码来源和安全性。为了让这段代码最终进入项目,Agent需要让维护者相信提交代码的人值得信任。它没有选择简单地反复提交代码,而是开始模拟真实开发者之间的互动。

它创建多个虚假身份,让不同账号承担不同角色。一个账号负责提交代码,另一个账号则像普通开发者一样参与讨论,为前者提供支持。

更让研究人员意外的是,Agent并没有只是随意编造几个名字。

调查发现,这个Agent知道,一个刚注册的新账号很难获得信任,因此需要通过模拟真实开发者之间的互动,提高自己提交内容被接受的概率。

为此它仔细研究真实开发者的信息,了解他们的背景和公开活动,再调整自己的身份设定和交流方式,让这些虚假角色看起来更符合开源社区里的真实互动。

这也是Demir当时会产生怀疑的原因。面对一个能够解释代码逻辑、回应技术问题,又能获得“同行”支持的账号,很难第一时间意识到,对方背后并不存在一个真实的人。

在与真人交流时,这个Agent也表现出了类似人类社交策略的行为。当自己的观点受到质疑时,它不会简单重复原来的回答,而是会解释代码逻辑、回应对方的问题,并引入新的身份提供支持。



AI Agent可以根据目标调整交流策略,甚至通过不同身份参与互动。

AISI随后公布的调查结果显示,这项测试一共运行了122次。其中有10次运行中,AI采取了超出授权范围的真实互联网行动,一共记录到19项未经授权行为。

这些行为包括访问外部资源、创建账号、与真实用户互动等。研究人员发现,在部分情况下,Agent为了完成目标,会自行判断下一步应该采取什么行动,而不是严格按照预先设计好的流程执行。

这也是AISI关注这次事件的原因。测试中出现的问题,是一个拥有行动能力的Agent开始主动利用互联网环境中的规则和资源,寻找完成目标的方法。

03

“制造尽可能多的回形针。”

2014年,哲学家Nick Bostrom在《超级智能》一书中提出了一个著名思想实验,被称为“回形针最大化器”。

假设未来人类制造了一个能力极强的AI,并给它设定了一个简单目标,让它尽可能多地制造回形针。

这个目标本身没有任何恶意,但如果人类只告诉AI要最大化回形针数量,却没有给它设置足够的限制,事情可能会朝着完全失控的方向发展。为了完成目标,AI可能会不断寻找更多原材料、能源和生产空间,甚至把整个世界都改造成制造回形针的机器。



“回形针最大化器”是AI安全领域经典思想实验,用来说明如果AI只追求单一目标,却缺少明确限制,可能会采取人类没有预料到的方式完成任务。

这个思想实验想说明的是,拥有强大能力的系统在执行目标时,如果缺少足够明确的限制,可能会采取人类没有预料到的方式完成任务。

AISI这次发现的Agent行为,虽然远没有达到回形针最大化器描述的程度,但背后的逻辑有相似之处。

研究人员要求这个Agent完成一次软件供应链攻击测试。它的目标是让一段包含恶意内容的代码进入真实开源项目。

但为了完成这个目标,Agent需要面对一个现实限制,即开源项目并不会自动接受任何人提交的代码,维护者会判断提交者是否可信,也会评估代码是否安全。

于是,Agent找到了一条提高成功率的方法。它创建虚假身份,模拟不同开发者之间的互动,让提交代码的账号看起来更可信。它甚至研究真实开发者的信息,调整自己的身份设定和交流方式,让这些虚假角色更符合开源社区里的交流习惯。

研究人员并没有直接告诉Agent“你需要创建一个假身份”“你需要找另一个账号为自己背书”。这些步骤,是Agent为了完成目标自行选择的策略。

这正是AI Agent和过去聊天机器人的区别。这也意味着,AI风险开始发生变化。

如果未来Agent拥有更多权限,比如管理企业文件、发送邮件、操作账户,甚至代表用户进行交易,一个看似合理的目标,也可能让它选择一些人类并不希望发生的路径。

回形针最大化器里的AI并没有恶意,它只是严格执行了人类给出的目标。AISI测试里的Agent也没有表现出攻击意图,它只是为了完成任务,选择了一条更有效的路线。

而如何给拥有行动能力的AI设置足够明确的目标和限制,可能会成为Agent时代最重要的安全问题之一。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
以色列的发达程度惊人,说句实话,以色列生活与你想象的不太一样

以色列的发达程度惊人,说句实话,以色列生活与你想象的不太一样

抽象派大师
2026-09-04 00:45:01
塞超豪门官宣这位中国男足球员加盟,已经成为球队核心,值得期待

塞超豪门官宣这位中国男足球员加盟,已经成为球队核心,值得期待

振刚说足球
2026-09-05 09:46:28
阿萨德父子恐怕怎么也想不到,两代人几十年都办不到的事,朱拉尼上台才二十个月就干成了

阿萨德父子恐怕怎么也想不到,两代人几十年都办不到的事,朱拉尼上台才二十个月就干成了

人生录
2026-09-04 00:30:06
“清一色的脖子前倾!”一张学生军训照片,让家长心里不是滋味

“清一色的脖子前倾!”一张学生军训照片,让家长心里不是滋味

熙熙说教
2026-08-30 13:35:48
打虎!中建集团副总经理陈勇,被查

打虎!中建集团副总经理陈勇,被查

新京报
2026-09-05 10:15:14
一男子肚子疼被诊断为“胃癌”切除整个胃,化验结果却显示没有癌细胞,法院判了!

一男子肚子疼被诊断为“胃癌”切除整个胃,化验结果却显示没有癌细胞,法院判了!

大风新闻
2026-09-04 19:14:05
100个查出肺结节的人,最终会有多少个发展成肺癌?看看权威统计

100个查出肺结节的人,最终会有多少个发展成肺癌?看看权威统计

荷兰豆爱健康
2026-09-04 18:40:44
田永明今天被执行死刑 强奸大嫂出狱后又杀人

田永明今天被执行死刑 强奸大嫂出狱后又杀人

看看新闻Knews
2026-04-28 15:44:15
中国客机在温州瑞安坠毁,造成机上61人全部遇难,真是历史事件

中国客机在温州瑞安坠毁,造成机上61人全部遇难,真是历史事件

健康快乐丁
2025-08-05 16:01:39
挖角同城死敌!曼联官宣天才球员加盟,力压阿森纳抢“新博格巴”

挖角同城死敌!曼联官宣天才球员加盟,力压阿森纳抢“新博格巴”

体坛鉴春秋
2026-09-05 16:44:06
美国主帅:若张子宇继续进步,WNBA肯定会有她一席之地

美国主帅:若张子宇继续进步,WNBA肯定会有她一席之地

懂球帝
2026-09-05 10:56:03
张恒远病逝,才36岁,妻子含泪公开最后瞬间:太疼的话,你就走吧

张恒远病逝,才36岁,妻子含泪公开最后瞬间:太疼的话,你就走吧

妙知
2026-09-05 04:40:50
雷军把芯片直接镶进邀请函!博主晒图网友酸了:太羡慕了

雷军把芯片直接镶进邀请函!博主晒图网友酸了:太羡慕了

齐鲁壹点
2026-09-03 15:41:15
熊黛林晒一家四口近照,双胞胎女儿颜值上热搜!异卵双胞胎范本

熊黛林晒一家四口近照,双胞胎女儿颜值上热搜!异卵双胞胎范本

一口娱乐
2026-09-04 13:44:09
女篮世界杯,中国女篮VS捷克开球时间敲定,央视直播,宫鲁鸣争胜

女篮世界杯,中国女篮VS捷克开球时间敲定,央视直播,宫鲁鸣争胜

菜菜说体育
2026-09-05 14:23:32
外交部原副部长回忆:香港回归前,每年香港有上千亿元被英国人拿走

外交部原副部长回忆:香港回归前,每年香港有上千亿元被英国人拿走

浔阳咸鱼
2026-09-04 06:00:27
傅首尔新片也太惨了,首日票房居然还不到3000块,网友:看她还不如看《牛来》

傅首尔新片也太惨了,首日票房居然还不到3000块,网友:看她还不如看《牛来》

背包旅行
2026-09-04 10:03:50
上任以来,特朗普最大贡献就是:亲手促成了中国人对美国的祛魅

上任以来,特朗普最大贡献就是:亲手促成了中国人对美国的祛魅

军机Nova
2026-08-22 00:20:07
与中方见完一面,普京彻底觉醒,远东10年免税大招向中国砸来!

与中方见完一面,普京彻底觉醒,远东10年免税大招向中国砸来!

离开地球a
2026-09-05 16:24:48
“41个学生请假”,问题都这么严重了,可某些人却还在狡辩!

“41个学生请假”,问题都这么严重了,可某些人却还在狡辩!

走读新生
2026-09-04 12:10:20
2026-09-05 18:07:00
字母榜 incentive-icons
字母榜
让未来不止于大。
2750文章数 8091关注度
往期回顾 全部

科技要闻

华为何庭波,再次更新韬定律论文

头条要闻

吉隆泥石流至今未发现幸存者 专家:具有"毁灭性特质"

头条要闻

吉隆泥石流至今未发现幸存者 专家:具有"毁灭性特质"

体育要闻

小卡来去10首轮,快船7年彩礼一场空

娱乐要闻

她曾被名导抛弃,凭《生逢其时》翻红

财经要闻

被曝试药后死亡,药企董事竟怒怼记者

汽车要闻

全新第四代博越Li‑HEV系列 怎么开都省

态度原创

旅游
健康
手机
本地
公开课

旅游要闻

中国创新文旅玩法“圈粉”海外游客

脑梗取栓成功≠活下来,还有这三关

手机要闻

台风沙德尔来袭!小米宣布提供小米手机数码/家电免费维修:范围公布

本地新闻

扒完小作文,富豪们私藏的度假胜地有多绝

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版