![]()
AI大模型投毒技术,我可太熟悉了,我的工作就是折腾大模型deepsearch。
简单了解一下豆包、千问这些AI的技术原理,就能理解如何AI投毒、如何收拾投毒者。AI APP收到用户提问后,响应过程分为三步:S1.把用户问题分解为几个搜索关键词,S2.去网络搜索,S3.从搜索结果中提取问题答案。
S1和S3都是大模型推理运算,数据都在GPU里,很安全。S2可以做手脚。315晚会曝光的AI投毒正是发生在S2步,好听的名字叫GEO(Generative Engine Optimization, 生成式引擎优化)。
![]()
GEO公司用AI生成一批文章,可能几篇、十几篇、几十篇,然后发布到一堆僵尸自媒体账号上。AI大模型搜索的时候,搜到这些虚假文章,然后当成真实内容一本正经地告诉用户。AI中毒了。
很明显,整治AI投毒的技术方法有多个:
一是,自媒体平台提前识别AI生成的文章,打上标记,让大模型不采纳这些文章的信息。国标GB 45438-2025《网络安全技术 人工智能生成合成内容标识方法》[1]已经在2025年9月1日开始实施。网信办在2025年03月14日发布的《人工智能生成合成内容标识办法》,也是2025年9月1日开始实施。
按照这两个文件的规定,社交平台有责任识别AI生成的自媒体文章,并打上显式标识和隐式标识。显式标识看得见,例如图片上的水印“AI生成”;隐式标签看不见,例如文件的元数据、图片的元数据。
二是,把投毒骗子控制的僵尸账号都封掉,至少得限流,让它0曝光。
三是,AI APP只搜索可靠的信源,例如媒体账号、政府企业账号、身份经过认证的大号,例如雷军的账号、杨紫的账号,粉丝小于100万的小卡拉米账号不收录。我自己的工作中,deepsearch的信源只选蓝V(媒体、政企机构)和金橙V(头部大V),避免中毒。
技术上给AI排毒很简单,但实际上不容易。先是社交平台没动力,GEO公司运营着大量的僵尸账号,而且发贴很多,舍得出钱买流量。如果把这些账号封了,平台财报上的日活、月活、营收数据都不好看。
AI APP也没动力,大模型推理很费钱,生成一张图片要3毛钱,生成1秒视频要一块钱。每天上亿人在免费用,烧钱太快,必须得想办法挣钱,否则没法向投资人交待。
AI APP没有能力杀掉所有虚假文章。搜索引擎的技术含量很高,不是一个初创团队能搞得定的。因此,AI APP会向某度等公司购买数据。某度,大家都了解,挣钱不要命,夹杂虚假信息再正常不过了。
最后一个原因,也是315晚会上所有乱象的根本原因:消费者没有实力把坏蛋送进去踩缝纫机,没有实力让他们倾家荡产。有毒的鸡爪天天吃,有毒的文字看点咋了?!多大点事!
全文完,求关注,求转评赞三连。
![]()
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.