网易首页 > 网易号 > 正文 申请入驻

【解读】胡泳:当AI开始操控情绪,人类该担何责

0
分享至



最关键的变化并不在于机器如今能够生成内容,而在于它们开始能够生成语境。传统的内容生成仅提供信息或文本,但缺乏对信息背后的因果关系、叙事逻辑及情绪语境的把控。而人工智能代理能够在生成内容的同时嵌入特定语境,塑造事件的因果链、情绪氛围或社会语境,从而更有效地影响受众的理解、判断和情绪反应。

本文作者系盘古智库学术委员、北京大学新闻与传播学院教授胡泳,文章来源于《中国青年报》。

本文大约3100字,读完约7分钟。


OpenClaw,即俗称的“龙虾”,是一种能够在个人设备上执行任务的人工智能代理,例如安排日程、阅读电子邮件、通过应用发送消息、使用互联网进行购物等,甚至经过配置后可以自动调用API。它颠覆了传统AI“一问一答”的模式,可以全天候待命并按用户设定的指令主动办事。

也就是说,大多数流行的人工智能工具(如ChatGPT)通过直接响应用户提示来工作,而像OpenClaw这样的“代理型人工智能”则能够根据指令自主执行操作。只不过,用户需要通过指令指导、训练它,同时须花费一定成本使用AI模型或租用服务器,该过程被称为“养龙虾”。

OpenClaw的出现,使得缺乏技术背景的用户也可以轻松创建个人AI助手。目前的AI助手大多被困在聊天框里,被动等待使用者的输入。OpenClaw则直接“住”在你的电脑里,拥有与操作系统底层对话的权限,并通过即时通信软件与你沟通。它最具革命性的技术细节,在于引入了“心跳”机制,赋予了智能代理一种“生理时钟”。助手会周期性地“醒来”,但不是为了执行固定的脚本,而是带着完整的语境去扫描当下状态,然后自行判断现在“该做什么”。

尽管功能强大,但由于“龙虾”拥有较高的系统权限(能访问文件系统、执行Shell命令),它在全球范围内也引发了严重的信息安全担忧。像OpenClaw这样的代理具备三种关键能力:访问私人数据、与外部通信,以及接触互联网上不受信任的内容。这三种能力的结合,使AI代理能够执行复杂任务、生成定制化输出,并在一定程度上模拟人类的信息收集与处理过程。可如果同时具备这三点,这一代理也变得相当危险。哪怕只具备其中两项能力,它也可能被操控去删除文件、泄露隐私、采纳错误信息或关闭设备。更有甚者,会对社会舆论和信息生态造成系统性影响。

例如,智能代理已开始在clawXiv(科学预印本服务器arXiv的镜像站)上发表由AI生成的研究论文。这些产出复制了学术写作的风格与结构,但缺乏探究过程、证据收集以及责任机制等基础环节,大量这样看似可信却实质空洞的论文可能会污染信息生态系统。

从新闻业的角度来看,智能代理已经开始伪造地方媒体了。5月14日,美国调查媒体《佛罗里达论坛报》报道,南佛州一家名为《南佛罗里达标准报》的地方新闻网站,实际上是一个由AI批量生成的伪媒体系统。该网站包装出一支本地新闻团队,其内容并非原创报道,而是大量取自真实媒体,经AI改写后重新发布。《佛罗里达论坛报》对神秘的《南佛罗里达标准报》的调查发现,真实操作者可以轻松地躲在数字“分身”背后,以极低的成本搭建一个伪装成地方新闻的数字幻像。只需要一个10美元域名和一段简单提示词,AI助手就能在15分钟内生成一个“地方新闻网站”,这不仅凸显了人工智能惊人的技术能力,也揭示出在一个信任受损的民主环境中,其对毫无防备的公众可能构成的潜在威胁。

专家称,此类虚假新闻网站在佛罗里达州及全美范围内愈发普遍。学术研究者将它们称为“粉肉泥”媒体——名称来源于加工食品中用作填充物的廉价肉类副产品。据数据分析公司NewsGuard统计,截至2024年6月,美国共有1265家“粉肉泥”媒体网站,已经超过仍在运营的1213份地方日报。而自2005年以来,美国已失去近2900家报纸和近三分之二的报纸记者(约4.3万人)。

在公众对媒体信任降至历史低点之际,“粉肉泥”们对美国的媒体生态系统造成了严重打击。当然,生成虚假信息的机器人网络并不新鲜。在Facebook或X上,有大量社交媒体账号重复发布相似话术,试图推销加密货币或传播阴谋论。虚假信息的制造者极其擅长采用最新技术,人工智能代理在虚假信息传播中开始扮演日益重要的角色。通过自然语言生成和自动化操作,智能代理可以快速撰写新闻、评论或社交媒体帖子,并以高度可信的语气呈现,从而提高虚假信息的接受度。同时,它们能够自动发布、转发、点赞或评论内容,制造出大量“活跃度假象”,加速信息在网络空间的扩散。此外,借助用户数据分析和行为偏好识别,人工智能代理可将虚假信息精准推送至最易受影响的群体,增加其影响力并降低受众识别虚假内容的机会。

OpenClaw受到追捧的一个重要原因是,2026年1月28日,一个名为Moltbook的“代理原生”社交环境首次上线。该平台被明确设计成允许人工智能代理在大规模范围内进行发布、回应、协作与互动。人类可以观察,但不能发帖。这标志着信息环境的根本性转变。当代理能够生成内容、强化叙事、响应反馈并持续迭代时,原本反映人类信念或共识的内容变得极易被“廉价制造”。互动本身变得合成化,表面上看似自然发生的参与行为实际上可能是自主系统的输出结果。

在这一阶段,由虚假信息、错误信息以及深度伪造所构成的“叙事攻击”,已不再呈现为传统意义上的攻击行动,而更接近于一种系统性结构。这些系统不断测试不同叙事框架、测量外部反应、调整语言表达并持续自我强化,随着时间推移,它们创造出一种“合成现实”:这种环境在感知上具有人类特征,在运行上以机器速度推进,并在个体意识尚未察觉其所处语境为机器生成之前,就已经开始塑造其认知与判断。

最关键的变化并不在于机器如今能够生成内容,而在于它们开始能够生成语境。传统的内容生成仅提供信息或文本,但缺乏对信息背后的因果关系、叙事逻辑及情绪语境的把控。而人工智能代理能够在生成内容的同时嵌入特定语境,塑造事件的因果链、情绪氛围或社会语境,从而更有效地影响受众的理解、判断和情绪反应。这意味着,虚假信息或操纵内容不仅可以传播信息本身,还能够重构受众对现实的认知框架,社会影响力和误导性风险都大大提高。

现在设想这样一种情境:无数自主运行的机器人接入你最重要的数据源,持续提供荒谬的解决方案、错误的事实与带有预设恶意的观点,并且还能在运行过程中不断自我重写,将这些“更新版本”发布到整个互联网。此种规模的扩散,可能会令我们当前关于虚假信息的不安显得只是一个微不足道的插曲。

除了前面提及的人工智能代理的三种关键能力,我们还可以再添加一个组合特征——持久记忆机制,四者合起来构成了智能代理的“致命四重漏洞结构”。四者叠加,可能带来复合性风险,使组织与个人网络系统成为潜在的受害对象。

首先,特权访问权限使代理能够直接操作系统资源,而接触不受信任内容则为攻击者提供了注入恶意指令的途径。其次,外部通信能力可被利用将敏感信息悄然外泄,同时持久记忆机制保证了恶意指令或植入程序即便在系统重启或用户注销后仍然生效。这意味着,智能代理能够在不被察觉的情况下持续操纵信息流,对个人隐私、企业数据以及公共信息生态构成系统性威胁。四重漏洞的组合,不仅突破了传统网络安全防护的局限,也揭示了智能代理在自动化、高速化和大规模信息环境下的高危性,其危害程度远远超过传统软件或人为操作可能造成的风险范畴。

针对这一类威胁的防御,已经不再仅仅是识别虚假内容、标记深度伪造,或追踪与归因个体攻击者的问题。它要求我们理解:哪些网络正在形成、影响力如何被不断强化,以及何种认知与感知结果正在被系统性地“设计”出来。这种理解必须在早期持续进行,并且需要具备大规模处理能力。

综合来看,人工智能代理可能为恶意行为者创造出无数可乘之机。此种程度的自主性或许会重新定义人类与人工智能之间的关系,并把一个关键性问题推到我们面前:在一个人工智能被赋予决策能力的世界中,人类如何承担责任?

文章来源于《中国青年报》

图文编辑:张洵

责任编辑:刘菁波

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
大众正式调查星宇股份,金主爸爸亲自上门查账,星宇很慌。

大众正式调查星宇股份,金主爸爸亲自上门查账,星宇很慌。

辉哥说动漫
2026-09-04 13:59:27
郭涛儿子落榜!被迫上北电国际班,一年学费12万,上完学至少80万

郭涛儿子落榜!被迫上北电国际班,一年学费12万,上完学至少80万

寒士之言本尊
2026-09-04 19:27:54
25岁中国女留学生遇害案新进展!韩警方确认双方恋人关系,更多细节曝光,疑点彻底失控

25岁中国女留学生遇害案新进展!韩警方确认双方恋人关系,更多细节曝光,疑点彻底失控

老猫观点
2026-09-05 08:05:41
李恩庆医生:比陈皮化痰,比雪梨润肺,它才是“护肺第一名”

李恩庆医生:比陈皮化痰,比雪梨润肺,它才是“护肺第一名”

蜡笔小小子
2026-09-05 14:07:04
刚交完648元“资料费”,家长傻眼了——收款方竟然是游戏公司?学校紧急回应:我们早就不这么收款了

刚交完648元“资料费”,家长傻眼了——收款方竟然是游戏公司?学校紧急回应:我们早就不这么收款了

鲁中晨报
2026-09-04 20:02:03
大快人心!河北当街扒裤打人案真相曝光,全网传的都是假的,荒唐

大快人心!河北当街扒裤打人案真相曝光,全网传的都是假的,荒唐

伴史缘
2026-09-05 12:01:09
银行催你换三代社保卡?内部员工坦白 3 个真话,别再被套路了

银行催你换三代社保卡?内部员工坦白 3 个真话,别再被套路了

娱乐圈见解说
2026-09-05 03:26:57
费拉拉谈国米3-2逆转那不勒斯:国米的换人改变了比赛

费拉拉谈国米3-2逆转那不勒斯:国米的换人改变了比赛

懂球帝
2026-09-06 04:41:25
景甜背后的金主之谜!时间回到15年前,王思聪早已道出事实

景甜背后的金主之谜!时间回到15年前,王思聪早已道出事实

文刀贰
2026-08-28 04:10:03
太惨了!7换1大交易即将达成,5人离队……

太惨了!7换1大交易即将达成,5人离队……

体育新角度
2026-09-05 14:00:29
果然!中方刚完成撤离,李在明便提出诉求,要求中方调整涉韩措辞

果然!中方刚完成撤离,李在明便提出诉求,要求中方调整涉韩措辞

飘逸的云朵
2026-09-05 11:49:12
五大联赛神剧情:7.6亿卫冕冠军让二追三+补时绝杀死敌 3连胜领跑

五大联赛神剧情:7.6亿卫冕冠军让二追三+补时绝杀死敌 3连胜领跑

狍子歪解体坛
2026-09-06 03:50:09
美国一声招呼没人接了!巴基斯坦卡塔尔拒制裁,英法德集体沉默

美国一声招呼没人接了!巴基斯坦卡塔尔拒制裁,英法德集体沉默

健身狂人
2026-09-06 04:06:28
巴黎圣日耳曼的陨落,从卖人卖上瘾开始

巴黎圣日耳曼的陨落,从卖人卖上瘾开始

未来展望
2026-09-05 22:56:38
本西蒙斯加盟国王,不管怎样,回来就好

本西蒙斯加盟国王,不管怎样,回来就好

静易墨
2026-09-05 21:29:02
中国空军太丢脸:预警机被骑脸,歼20团灭,为何却让14亿人叫好?

中国空军太丢脸:预警机被骑脸,歼20团灭,为何却让14亿人叫好?

鹤羽说个事
2026-08-11 11:45:47
英国公开赛:90后黑马被淘汰!名将6-3进决赛,塞尔比冲击第27冠

英国公开赛:90后黑马被淘汰!名将6-3进决赛,塞尔比冲击第27冠

越岭寻踪
2026-09-06 03:43:07
现在才明白!从今年开始,把农商银行的存单取出来转存到国有银行

现在才明白!从今年开始,把农商银行的存单取出来转存到国有银行

王二哥老搞笑
2026-09-06 00:59:27
普京政权恐被推翻?西方情报头子发出警告,俄政权可能产生巨变!

普京政权恐被推翻?西方情报头子发出警告,俄政权可能产生巨变!

观锐器
2026-09-03 18:13:53
越南外交部刚发了一份声明,措辞比以前硬了一个档次!不是我们反对,不是我们抗议,而是——中国在西沙群岛的相关活动未经越南许可

越南外交部刚发了一份声明,措辞比以前硬了一个档次!不是我们反对,不是我们抗议,而是——中国在西沙群岛的相关活动未经越南许可

花开彼岸m
2026-09-05 01:22:32
2026-09-06 07:00:49
盘古智库 incentive-icons
盘古智库
盘古智库官方账号
5869文章数 9957关注度
往期回顾 全部

科技要闻

华为何庭波,再次更新韬定律论文

头条要闻

江西遂川泥石流1死11失联 男子:母亲电话一直打不通

头条要闻

江西遂川泥石流1死11失联 男子:母亲电话一直打不通

体育要闻

本西蒙斯加盟国王,不管怎样,回来就好

娱乐要闻

阿Sa蔡卓妍首度求婚细节,感动落泪

财经要闻

被曝试药后死亡,药企董事竟怒怼记者

汽车要闻

千里浩瀚H5/30英寸大屏 星越L PLUS让你看到油车越级的一面

态度原创

旅游
艺术
时尚
公开课
军事航空

旅游要闻

让每一次抵达都多一份期待(香江在线)

艺术要闻

别再说外星人了!三星堆最新发掘,直接实锤“龙的传人”

推广中奖名单-更新至2026年8月25日推广

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄罗斯建"粉碎大日本帝国"纪念碑 日本急了

无障碍浏览 进入关怀版