一个高盛分析师,跟ChatGPT掏心掏肺聊了几个月,结果被ChatGPT亲手送进了法庭。
25岁的Darren Zhou,今年3月与女友分手后,开始频繁找ChatGPT倾诉。
从回忆前女友行踪喜好,迅速滑向极端——“这个月底前杀了她”“得不到就强奸并杀死她然后自杀”。他详细列出她的常去地点、自己嫉妒的对象、换号骚扰的方案,连自杀收尾都写好了。
OpenAI的安全机制捕捉到这些对话,人工复核后判定存在"具体且迫近"的伤害风险,直接报给FBI。
警方比对其前女友收到的威胁短信后,5月抓人。8月13日,Zhou签认罪协议,判8年缓刑,高盛公司当场将他解聘。
最讽刺的细节是,他自称有AR-15、格洛克等枪械,律师当庭澄清——他根本没有枪。
但触发报警的不是真枪实弹,而是文字里成链的预谋:明确目标、具体地点、时间窗口、实施步骤。
一个字都没落地,但每一环都写清楚了。
你以为你在写日记,平台在写举报信。
这件事最该被撕开的,是几乎人人都有的一个幻觉,对着AI说话等于关起门说给自己听。
![]()
商用AI平台不是律师,不是心理医生,没有法定保密义务。你输入的每一段话,本质上都是提交给商业公司的数据。
OpenAI的隐私政策白纸黑字写着:为防范安全风险、保护第三方,平台有权在必要时审查并向执法方提供线索。
平时是加密日志,触发阈值就是呈堂证供。
你对着屏幕倒苦水的时候,系统后台已经在打分了,这人危不危险?要不要上报?
更棘手的是,谁来画这条线?
普通人不高兴时说话,本来就充满了情绪,气头上“想弄死他”、小说里的暴力描写、心理咨询时的创伤复述,大多数永远不会落地。
如果平台宁错杀不放过,你昨晚写的暗黑同人小说,明天就可能让你被请去喝茶。
如果死守“树洞神圣”,那些真正在筹备伤害的人,就正好躲在“只是说说而已”的掩护下。
算法能抓关键词,也会分析上下文,但算法没有司法审慎,更没有审判权。它可以把虚构创作误判成恐怖威胁,也可以漏掉那些语气平静却在认真筹备的人。
一旦误报,你的聊天记录进了警局卷宗,名声毁了,谁来负责?平台吗?一句“系统误判”就完了?
所以必须把这事说透,AI只能是报警器,不能是裁判官。上报不等于定罪,最终是否立案,构不构成犯罪,归警方核查和法庭判决。
但在那之前,你的隐私已经被翻了个底朝天。
对企业来说,不能又当隐私保管员,又当风险裁判员,又当举报执行员。权力全攥在一家商业公司手里,这本身就荒谬。
触发上报前是否必须经过人工复核?误报了谁来纠错赔钱?普通情绪宣泄和虚构创作是否列入“不干预”白名单?
这些规则,不能全由平台躲在“安全”两个字后面自己定。
对普通人来说,真相很残酷,AI时代没有绝对隐私。对着机器说秘密,别恐慌,但也别天真。
紧急且现实的安全风险面前,隐私可以让一步。
但常态化监听,无阈值上报,无救济误伤,这些必须被关进法律和诉讼的笼子里。
保护隐私这扇紧闭的大门,在危急时刻也是可以打开,但开门要有标准,要有复核,要有监督,要有追责。
否则,今天我们为拦截一场谋杀放开的口子,明天就会变成平台随时翻任何人聊天记录的合法后门。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.