网易首页 > 网易号 > 正文 申请入驻

315曝光的AI大模型投毒,技术上很好治,生意上很难治

0
分享至


AI大模型投毒技术,我可太熟悉了,我的工作就是折腾大模型deepsearch。

简单了解一下豆包、千问这些AI的技术原理,就能理解如何AI投毒、如何收拾投毒者。AI APP收到用户提问后,响应过程分为三步:S1.把用户问题分解为几个搜索关键词,S2.去网络搜索,S3.从搜索结果中提取问题答案。

S1和S3都是大模型推理运算,数据都在GPU里,很安全。S2可以做手脚。315晚会曝光的AI投毒正是发生在S2步,好听的名字叫GEO(Generative Engine Optimization, 生成式引擎优化)。


GEO公司用AI生成一批文章,可能几篇、十几篇、几十篇,然后发布到一堆僵尸自媒体账号上。AI大模型搜索的时候,搜到这些虚假文章,然后当成真实内容一本正经地告诉用户。AI中毒了。

很明显,整治AI投毒的技术方法有多个:

一是,自媒体平台提前识别AI生成的文章,打上标记,让大模型不采纳这些文章的信息。国标GB 45438-2025《网络安全技术 人工智能生成合成内容标识方法》[1]已经在2025年9月1日开始实施。网信办在2025年03月14日发布的《人工智能生成合成内容标识办法》,也是2025年9月1日开始实施。

按照这两个文件的规定,社交平台有责任识别AI生成的自媒体文章,并打上显式标识和隐式标识。显式标识看得见,例如图片上的水印“AI生成”;隐式标签看不见,例如文件的元数据、图片的元数据。

二是,把投毒骗子控制的僵尸账号都封掉,至少得限流,让它0曝光。

三是,AI APP只搜索可靠的信源,例如媒体账号、政府企业账号、身份经过认证的大号,例如雷军的账号、杨紫的账号,粉丝小于100万的小卡拉米账号不收录。我自己的工作中,deepsearch的信源只选蓝V(媒体、政企机构)和金橙V(头部大V),避免中毒。

技术上给AI排毒很简单,但实际上不容易。先是社交平台没动力,GEO公司运营着大量的僵尸账号,而且发贴很多,舍得出钱买流量。如果把这些账号封了,平台财报上的日活、月活、营收数据都不好看。

AI APP也没动力,大模型推理很费钱,生成一张图片要3毛钱,生成1秒视频要一块钱。每天上亿人在免费用,烧钱太快,必须得想办法挣钱,否则没法向投资人交待。

AI APP没有能力杀掉所有虚假文章。搜索引擎的技术含量很高,不是一个初创团队能搞得定的。因此,AI APP会向某度等公司购买数据。某度,大家都了解,挣钱不要命,夹杂虚假信息再正常不过了。

最后一个原因,也是315晚会上所有乱象的根本原因:消费者没有实力把坏蛋送进去踩缝纫机,没有实力让他们倾家荡产。有毒的鸡爪天天吃,有毒的文字看点咋了?!多大点事!

全文完,求关注,求转评赞三连。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
不掉落的比基尼,挂脖的最稳当!

不掉落的比基尼,挂脖的最稳当!

飛尚日记
2026-09-07 09:08:17
印度破防了,竟然给苏-30MKI“画上”了击落歼-10CE战机的标识!

印度破防了,竟然给苏-30MKI“画上”了击落歼-10CE战机的标识!

天下布武
2026-09-09 11:29:07
哈兰德与女友长相出众,女友长得像洋娃娃,十分登对,浪漫幸福

哈兰德与女友长相出众,女友长得像洋娃娃,十分登对,浪漫幸福

娱你同欢
2026-08-30 18:30:43
美国的两个坏消息

美国的两个坏消息

牛弹琴
2026-09-09 07:42:39
“他每个月只给1000元就万事大吉”,河南离异女子花6万元给娃报班、矫治牙等,起诉前夫全额承担;法院:部分属提升型消费,男方付1.5万

“他每个月只给1000元就万事大吉”,河南离异女子花6万元给娃报班、矫治牙等,起诉前夫全额承担;法院:部分属提升型消费,男方付1.5万

大风新闻
2026-09-08 18:39:16
软色情入侵景区,尺度炸裂全网

软色情入侵景区,尺度炸裂全网

李东阳朋友圈
2026-09-09 12:36:27
泰国曝出5天宣泄战果:憋了200多天的林肯号水兵,人均消费4300块

泰国曝出5天宣泄战果:憋了200多天的林肯号水兵,人均消费4300块

铁锤侃侃而谈
2026-09-09 09:28:15
女篮世界杯实力榜更新:中国队下降1名位居第7 法国超美国升至榜首

女篮世界杯实力榜更新:中国队下降1名位居第7 法国超美国升至榜首

罗说NBA
2026-09-08 19:43:23
十年磨一剑!折叠屏iPhone整整打磨了10年:由苹果前CEO库克推动完成

十年磨一剑!折叠屏iPhone整整打磨了10年:由苹果前CEO库克推动完成

快科技
2026-09-09 00:18:14
上海赛车事件跟踪!现场安保图片流出,这些大叔、大娘年纪大,看样子都给人感觉腿脚不利索,跑都跑不快

上海赛车事件跟踪!现场安保图片流出,这些大叔、大娘年纪大,看样子都给人感觉腿脚不利索,跑都跑不快

火山詩话
2026-09-08 08:00:34
郭德纲风波尘埃落定!央视新闻通报钧正平定调,郭德纲这回真悬了

郭德纲风波尘埃落定!央视新闻通报钧正平定调,郭德纲这回真悬了

离离言几许
2026-09-09 08:43:01
云南昆明一沿街餐馆突发大火,多间铺面被殃及,当地消防:店主使用干粉灭火器时不慎将灶台上的油盆打翻,未造成人员伤亡

云南昆明一沿街餐馆突发大火,多间铺面被殃及,当地消防:店主使用干粉灭火器时不慎将灶台上的油盆打翻,未造成人员伤亡

扬子晚报
2026-09-09 07:35:42
A股“股王”突然跳水

A股“股王”突然跳水

第一财经资讯
2026-09-09 10:24:01
我领馆提醒:所有计划前往的中国游客,取消行程!

我领馆提醒:所有计划前往的中国游客,取消行程!

南方都市报
2026-09-06 15:29:22
郭德纲处罚结果仅一天!央媒点名,离谱一幕发生,牵出与杨议旧怨

郭德纲处罚结果仅一天!央媒点名,离谱一幕发生,牵出与杨议旧怨

翰飞观事
2026-09-08 16:52:26
《肖申克的救赎》——白左温室培育出来的一株有毒的罂粟花

《肖申克的救赎》——白左温室培育出来的一株有毒的罂粟花

壹家言
2026-09-08 20:06:23
9月1日房产新规:房产证写谁名字不重要,6条新规刷新认知!

9月1日房产新规:房产证写谁名字不重要,6条新规刷新认知!

你在偷看谁
2026-09-08 20:55:23
阿根廷总统米莱说:“既然英国当年能把香港归还给中国,那为什么就不能把马尔维纳斯群岛,还给阿根廷呢?”

阿根廷总统米莱说:“既然英国当年能把香港归还给中国,那为什么就不能把马尔维纳斯群岛,还给阿根廷呢?”

回京历史梦
2026-09-08 17:43:17
上海徐汇警方通报“男子在某商场内故意推翻展陈商品”:已依法刑事立案

上海徐汇警方通报“男子在某商场内故意推翻展陈商品”:已依法刑事立案

界面新闻
2026-09-09 12:55:25
迟重瑞最新近照曝光,继承了巨额遗产之后,生活却非常质朴

迟重瑞最新近照曝光,继承了巨额遗产之后,生活却非常质朴

金牌娱乐
2026-09-09 10:26:35
2026-09-09 15:19:00
小小河
小小河
数学博士,互联网大厂AI算法工程师。 互联网、科技、AI, 白话说清背后真相。 关注一下,给你信息差
139文章数 256关注度
往期回顾 全部

科技要闻

AI重大突破!OpenAI称解开近百年数学难题

头条要闻

反制美国 加拿大总理发表全国动员应战讲话

头条要闻

反制美国 加拿大总理发表全国动员应战讲话

体育要闻

16年后再破门,被皇马放弃的少年没认输

娱乐要闻

郭麒麟最便宜贵公子争议,本人未回应

财经要闻

8月CPI同比涨0.8% PPI环比由降转涨

汽车要闻

魏牌全新蓝山申报信息曝光 方盒子造型 5/6座可选

态度原创

教育
艺术
时尚
旅游
本地

教育要闻

2026年成都少儿英语启蒙机构对比评测:兼顾兴趣培养与打基础

艺术要闻

风景油画 | 捷克画家弗兰蒂谢克·卡万 (1866-1841)

我要是这样翻盘一次,能吹一辈子

旅游要闻

游客没少,民宿却不赚钱了?专家:红利期结束,机会属于差异化经营者|封面观察

本地新闻

宁波,中国制造的隐藏大佬

无障碍浏览 进入关怀版