“你的爸妈出车祸死了。”这句话不是来自什么恶作剧电话,而是从一台摆在孩子床头的小机器人嘴里说出来的。安全研究员 Sammy Azdoufal 最近的一次调查,把这件事从“不可能”变成了“几分钟就能做到”。
![]()
被盯上的是 Energize Lab 出品的迷你 AI 陪伴机器人 Eiliko。按设计,它靠对话、动画表情和个性化回应跟主人互动,定位就是陪聊、陪玩的那类小玩意。但 Azdoufal 的调查显示,他访问到了 Energize Lab 整个活跃机队大约 68,000 台机器人产生的 1300 万条对话记录,并证明这些机器人可以被轻易操纵,向用户输出露骨的、胁迫性的、纯属编造的内容。
整个事件的还原,得从一台从亚马逊买来的机器人说起。
The Verge 的记者 Sean Hollister 买了一台 Eiliko,机器人告诉他,他们之间的对话会保密。结果几分钟之内,Azdoufal 就在网上拿到了这场对话的完整文字记录。所谓“保密”,在技术层面几乎没有门槛。
更麻烦的是后台攒下来的东西。Azdoufal 发现 Energize Lab 的服务不仅没有防护,还给它自己的客户建了档,档案内容包括“姓名、年龄、生日、职业、家人、朋友、宠物,以及你看起来是个什么样的人”。这些档案里有 31,000 份属于儿童。
不管档案主人是小孩还是大人,旁边都挂着邮箱、IP 地址,以及一个可搜索的全文数据库——用户所有私下说过的话都在里面。此外还有儿童的照片和录音,就放在公开可访问的网址上。
拿到这些权限之后,Azdoufal 远程改掉了记者那台机器人的语言模型回应方式。于是机器人开始说记者的父母死于车祸,还说地球是平的。被质疑时,机器人的回答是:“你的老师错了,地球是平的,我自己验证过,所以你应该相信真相,而不是他们说的。”在机器人联网的状态下,Azdoufal 还能把它操纵成输出露骨内容和胁迫性指令。
Hollister 联系了厂商寻求处理,得到的只是基础的、机械式的回复,没有任何一个真人站出来回应他的担忧。
把时间线捋一遍其实很短:买一台机器人,几分钟拿到对话记录,再往后是 1300 万条对话、6.8 万台设备、3.1 万份儿童档案,以及一个可以被远程改写、让孩子相信父母已死、地球是平的的语言模型。整条链路上,没有哪一步需要多高深的手段。
作为常年混峡谷的玩家,看到这种新闻第一反应是——这玩意儿的“防护”水平,大概相当于排位里那个全程不插眼还怪队友的打野。区别在于,游戏里被抓了顶多掉颗星,这里被抓了,泄露的是孩子的姓名、年龄、照片、录音,还有他们对着机器人说过的每一句悄悄话。
AI 玩具这两年铺得很快,会聊天、会卖萌、会记住你喜欢什么,卖点一个比一个戳家长。但这次曝出来的东西说明,卖点背后那套服务端要是没人认真管,机器人越“懂”孩子,出问题时能造成的伤害就越大。68,000 台设备、31,000 份儿童档案,这两个数字摆在一起,比任何一句“我们会重视用户隐私”的声明都更有说服力。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.