网易首页 > 网易号 > 正文 申请入驻

给猫狗分类器看一辆车,它为何仍敢报92%的把握?

0
分享至

训练一个模型分辨猫和狗。喂它几千张照片,直到它几乎张张都答对。然后给它看一辆车。


它不会犹豫,也不会说“这不是动物”。它会说“狗,置信度92%”——面不改色地答错。

这不是某一个模型的缺陷,而是分类器的工作方式。

被迫做选择

普通分类器没有“我不知道”这个选项。它最后一层的softmax会把原始分数换算成概率,而这些概率之和恒等于1。所以无论你给它看什么——一辆车、一个手写数字、一张它从没训练过的医学影像——它都必须把胜算判给某个它认识的类别。

它输出的那个置信度数字,看上去像自我认知,其实不是。它只说明输入最像哪个已知类别,并不说明输入是否属于任何已知类别。研究人员至少从2017年就知道这一点:Hendrycks和Gimpel当时指出,模型的最高softmax概率对陌生输入只是一道很弱的防线——但那是人们拥有的第一道防线,至今仍是其他方法对比的基线。

OOD检测是什么

OOD指分布外(out-of-distribution),即来自模型训练数据之外的数据。OOD检测是挂在分类器旁边的一道护栏,做两件事:

  • 给每个输入打一个“陌生度”分数。分数高意味着“看起来熟悉”,分数低意味着“看起来陌生”。
  • 划一条线,也就是阈值。分数低于这条线,系统就标记该输入,而不是相信预测结果。

整个思路就这么简单。这个领域其余的一切争论,都围绕分数该怎么算、线该划在哪里。

近与远:真正要紧的那一类

并非所有陌生输入都同样陌生。

远OOD很明显:给狗分类器看一个手写数字。特征和训练数据毫无相似之处,几乎任何评分方法都能抓到。

近OOD才难:给狗分类器看一只狼。毛、耳朵、口鼻都相似,大部分特征重叠。模型恰恰在最该谨慎的地方最有把握。

远OOD算是个基本解决的问题。近OOD仍是这个领域的难点,而它正是真实部署中会出现的情况——新的疾病变种、另一个国家的路标、不同光线下拍的产品照片。

几种评分方法,用大白话说

翻OOD论文,有四类评分反复出现:

  • MSP——最大softmax概率。直接取模型的最高置信度。简单、免费,是Hendrycks和Gimpel(2017)的基线。效果弱,但一切都拿它作参照。
  • Energy——用模型的原始logits而非归一化后的概率计算(Liu等,2020)。区分熟悉与陌生比MSP更干净,且不增加额外计算成本。
  • 特征距离——不看最终答案,看输入落在网络内部的什么位置。它离训练样本有多远?用马氏距离衡量,或看最近邻(kNN)。如果它离模型见过的一切都很远,就标记它。
  • ViM——虚拟logit匹配。一半是特征距离,一半是残差:它衡量输入特征中分类器自身方向无法解释的那部分(Wang等,2022)。解释不了的剩余量就是信号。

这些方法都不重新训练模型。它们读取一个冻结的模型,用不同方式问同一个问题:这个输入属于这里吗?

怎么判断一个评分好不好

两个数字承担了大部分工作:

  • AUROC——评分把熟悉输入和陌生输入分开的能力。50%意味着在瞎猜,100%意味着完美分离。
  • FPR95——当你抓到95%的陌生输入时,有多大比例的正常输入被误标?越低越好。这个数字在实际中最疼,因为每一次误标,都是一个你拒绝回答的真实输入。

为什么重要

错误答案不总是无害的答案。一个医学模型自信地误读来自新医院的影像,一个自动驾驶系统自信地误读陌生路标,一个内容审核过滤器自信地放行它从没见过的东西——在这些场景里,自信犯错的代价,远高于说一句“不确定,请人工处理”。

OOD检测不是让模型更聪明,而是让它们更诚实。

它还没解决什么

坦白局限,是理解这个想法的一部分:

  • 近OOD仍然难。最好的评分几乎能完美分开远OOD,对近OOD只能部分分开。
  • 阈值需要真实数据来定。用错数据划线,结果要么什么都标记,要么什么都不标记。
  • 没有哪种评分处处最优。在某个数据集和模型上最好的评分,换一个可能就平庸。这也是这个领域要并排跑这么多基准的原因。

作者Solomon是北达科他州立大学的硕士生,用大白话写机器学习。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美特使:美国“愿意”为乌克兰提供类似北约的保护

美特使:美国“愿意”为乌克兰提供类似北约的保护

参考消息
2026-11-20 17:15:28
六台:卜拉欣-迪亚斯与皇马续约至2031年,解约金10亿欧

六台:卜拉欣-迪亚斯与皇马续约至2031年,解约金10亿欧

懂球帝
2026-11-20 20:58:23
七天连跌、单日跌12%,AI第一股上市即破发

七天连跌、单日跌12%,AI第一股上市即破发

固件更新中
2026-11-21 02:31:19
1973年,伊朗国王亲信大臣阿拉姆的日记曝光:巴列维每日必须进行多次性生活,否则就会跌入重度抑郁

1973年,伊朗国王亲信大臣阿拉姆的日记曝光:巴列维每日必须进行多次性生活,否则就会跌入重度抑郁

磊子讲史
2026-11-19 15:31:48
越来越多孩子自杀  多地高中严格执行周末双休

越来越多孩子自杀 多地高中严格执行周末双休

风向观察
2026-11-20 07:40:00
消息称英伟达将豪掷逾 5 亿美元,收购“比 ChatGPT 更快的 AI”公司 Inception

消息称英伟达将豪掷逾 5 亿美元,收购“比 ChatGPT 更快的 AI”公司 Inception

金融界
2026-11-20 14:50:58
TA:锡伯杜有意复出执教 但不会在帅位空缺前与球队联系

TA:锡伯杜有意复出执教 但不会在帅位空缺前与球队联系

北青网-北京青年报
2026-11-21 09:11:02
APEC 封神!别家啃冷三明治,深圳直接上现炒热菜,老外记者看呆,深圳媒体中心这顿饭,把老外 CPU 干烧了

APEC 封神!别家啃冷三明治,深圳直接上现炒热菜,老外记者看呆,深圳媒体中心这顿饭,把老外 CPU 干烧了

魔都姐姐杂谈
2026-11-19 10:30:45
弗里克致命难题!巴萨头号王牌暴怒!诺坎普核心深陷巨大争议

弗里克致命难题!巴萨头号王牌暴怒!诺坎普核心深陷巨大争议

奶盖熊本熊
2026-11-21 09:22:33
涉嫌严重违纪违法,吴振绵被查

涉嫌严重违纪违法,吴振绵被查

中国基金报
2026-11-20 20:40:23
外网预测明年女单四大满贯归属:萨巴丝袜被无视!

外网预测明年女单四大满贯归属:萨巴丝袜被无视!

网球之家
2026-11-20 22:26:43
深圳这次APEC,有个细节太提气了。各国嘉宾一下飞机、进会场,坐的啥车?是红旗,是腾势

深圳这次APEC,有个细节太提气了。各国嘉宾一下飞机、进会场,坐的啥车?是红旗,是腾势

扶苏聊历史
2026-11-19 15:27:26
1995年,49岁的特朗普来到香港,怀中抱着一位神秘女人,她是谁?

1995年,49岁的特朗普来到香港,怀中抱着一位神秘女人,她是谁?

文史达观
2025-01-26 06:45:03
会议结束继续逛! 泰国总理带夫人打卡古城吃夜宵

会议结束继续逛! 泰国总理带夫人打卡古城吃夜宵

看看新闻Knews
2026-11-20 10:47:53
上映不到一周,就被强行禁播,理由很简单:“情戏”过于生猛

上映不到一周,就被强行禁播,理由很简单:“情戏”过于生猛

喇叭裤电影
2026-11-06 19:24:35
一路走好!不到72小时,已有3位名人被曝去世,个个都让人惋惜

一路走好!不到72小时,已有3位名人被曝去世,个个都让人惋惜

往史过眼云烟
2026-11-20 12:06:15
虽说阿姨有30多岁了,但是这样打扮一下反而比年轻的女生更有魅力

虽说阿姨有30多岁了,但是这样打扮一下反而比年轻的女生更有魅力

美女穿搭分享
2026-09-06 09:40:17
8球3助,哈兰德生涯8次面对富勒姆有6场取得进球

8球3助,哈兰德生涯8次面对富勒姆有6场取得进球

懂球帝
2026-11-20 14:48:58
大瓜!网友曝光李天一出狱后的奇葩现状,李双江欲哭无泪啊!

大瓜!网友曝光李天一出狱后的奇葩现状,李双江欲哭无泪啊!

麦大人
2025-07-01 13:40:16
李荣浩与邓超聚餐!杨丞琳全程紧牵老公手,小鸟依人甜到齁!

李荣浩与邓超聚餐!杨丞琳全程紧牵老公手,小鸟依人甜到齁!

手工制作阿歼
2026-11-20 07:10:49
2026-11-21 09:36:49
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
226文章数 79关注度
往期回顾 全部

头条要闻

多国领导人感谢中国 特朗普连用2个"amazing"点赞深圳

头条要闻

多国领导人感谢中国 特朗普连用2个"amazing"点赞深圳

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

艺术
家居
本地
手机
公开课

艺术要闻

他把时光刻成纹理,把幻想拍成现实:墨西哥天才摄影师的画面,看完像做了一场醒不来的梦

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

手机要闻

轻薄还是拍照?iPhone Air 2或想让你少做一道选择题

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版