网易首页 > 网易号 > 正文 申请入驻

给猫狗分类器看一辆车,它为何仍敢报92%的把握?

0
分享至

训练一个模型分辨猫和狗。喂它几千张照片,直到它几乎张张都答对。然后给它看一辆车。


它不会犹豫,也不会说“这不是动物”。它会说“狗,置信度92%”——面不改色地答错。

这不是某一个模型的缺陷,而是分类器的工作方式。

被迫做选择

普通分类器没有“我不知道”这个选项。它最后一层的softmax会把原始分数换算成概率,而这些概率之和恒等于1。所以无论你给它看什么——一辆车、一个手写数字、一张它从没训练过的医学影像——它都必须把胜算判给某个它认识的类别。

它输出的那个置信度数字,看上去像自我认知,其实不是。它只说明输入最像哪个已知类别,并不说明输入是否属于任何已知类别。研究人员至少从2017年就知道这一点:Hendrycks和Gimpel当时指出,模型的最高softmax概率对陌生输入只是一道很弱的防线——但那是人们拥有的第一道防线,至今仍是其他方法对比的基线。

OOD检测是什么

OOD指分布外(out-of-distribution),即来自模型训练数据之外的数据。OOD检测是挂在分类器旁边的一道护栏,做两件事:

  • 给每个输入打一个“陌生度”分数。分数高意味着“看起来熟悉”,分数低意味着“看起来陌生”。
  • 划一条线,也就是阈值。分数低于这条线,系统就标记该输入,而不是相信预测结果。

整个思路就这么简单。这个领域其余的一切争论,都围绕分数该怎么算、线该划在哪里。

近与远:真正要紧的那一类

并非所有陌生输入都同样陌生。

远OOD很明显:给狗分类器看一个手写数字。特征和训练数据毫无相似之处,几乎任何评分方法都能抓到。

近OOD才难:给狗分类器看一只狼。毛、耳朵、口鼻都相似,大部分特征重叠。模型恰恰在最该谨慎的地方最有把握。

远OOD算是个基本解决的问题。近OOD仍是这个领域的难点,而它正是真实部署中会出现的情况——新的疾病变种、另一个国家的路标、不同光线下拍的产品照片。

几种评分方法,用大白话说

翻OOD论文,有四类评分反复出现:

  • MSP——最大softmax概率。直接取模型的最高置信度。简单、免费,是Hendrycks和Gimpel(2017)的基线。效果弱,但一切都拿它作参照。
  • Energy——用模型的原始logits而非归一化后的概率计算(Liu等,2020)。区分熟悉与陌生比MSP更干净,且不增加额外计算成本。
  • 特征距离——不看最终答案,看输入落在网络内部的什么位置。它离训练样本有多远?用马氏距离衡量,或看最近邻(kNN)。如果它离模型见过的一切都很远,就标记它。
  • ViM——虚拟logit匹配。一半是特征距离,一半是残差:它衡量输入特征中分类器自身方向无法解释的那部分(Wang等,2022)。解释不了的剩余量就是信号。

这些方法都不重新训练模型。它们读取一个冻结的模型,用不同方式问同一个问题:这个输入属于这里吗?

怎么判断一个评分好不好

两个数字承担了大部分工作:

  • AUROC——评分把熟悉输入和陌生输入分开的能力。50%意味着在瞎猜,100%意味着完美分离。
  • FPR95——当你抓到95%的陌生输入时,有多大比例的正常输入被误标?越低越好。这个数字在实际中最疼,因为每一次误标,都是一个你拒绝回答的真实输入。

为什么重要

错误答案不总是无害的答案。一个医学模型自信地误读来自新医院的影像,一个自动驾驶系统自信地误读陌生路标,一个内容审核过滤器自信地放行它从没见过的东西——在这些场景里,自信犯错的代价,远高于说一句“不确定,请人工处理”。

OOD检测不是让模型更聪明,而是让它们更诚实。

它还没解决什么

坦白局限,是理解这个想法的一部分:

  • 近OOD仍然难。最好的评分几乎能完美分开远OOD,对近OOD只能部分分开。
  • 阈值需要真实数据来定。用错数据划线,结果要么什么都标记,要么什么都不标记。
  • 没有哪种评分处处最优。在某个数据集和模型上最好的评分,换一个可能就平庸。这也是这个领域要并排跑这么多基准的原因。

作者Solomon是北达科他州立大学的硕士生,用大白话写机器学习。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
大瓜!网友曝光李天一出狱后的奇葩现状,李双江欲哭无泪啊!

大瓜!网友曝光李天一出狱后的奇葩现状,李双江欲哭无泪啊!

麦大人
2025-07-01 13:40:16
都快两个月了,刹车踏板断裂该出调查结果了吧?

都快两个月了,刹车踏板断裂该出调查结果了吧?

神不隆通
2026-11-21 08:00:08
汪祥旺退休四年仍被罢免,光谷那把椅子,坐过的人不止他一个!

汪祥旺退休四年仍被罢免,光谷那把椅子,坐过的人不止他一个!

王姐懒人家常菜
2026-11-21 05:52:24
爽了!火箭轰动NBA!恶棍状元或联手杜兰特

爽了!火箭轰动NBA!恶棍状元或联手杜兰特

篮球实战宝典
2026-11-20 18:47:13
特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

回京历史梦
2026-10-26 10:49:29
泽连斯基放话:不向乌提供武器的欧洲国家,将面临审查

泽连斯基放话:不向乌提供武器的欧洲国家,将面临审查

金戈远望
2026-11-19 12:31:19
男子在山姆花3970元买国航机票次卡,激活后没查到合适航班,申请退款发现订单“已核销”,已向12315举报;国航、山姆客服回应

男子在山姆花3970元买国航机票次卡,激活后没查到合适航班,申请退款发现订单“已核销”,已向12315举报;国航、山姆客服回应

都市快报橙柿互动
2026-11-21 01:13:02
露头就打!985高校沈丁立原形毕露!内鬼终于自己蹦出来了

露头就打!985高校沈丁立原形毕露!内鬼终于自己蹦出来了

平老师666
2026-11-21 08:49:53
笑不活!第一次这么直观地感受到南北差异 ,网友:南方人不敢说话

笑不活!第一次这么直观地感受到南北差异 ,网友:南方人不敢说话

石辰搞笑日常
2026-11-20 00:48:24
炸裂!黄仁勋女儿被爆大瓜

炸裂!黄仁勋女儿被爆大瓜

互联网品牌官
2026-11-20 10:48:24
财政部:1-10月证券交易印花税收入2511亿元,同比增长54.1%

财政部:1-10月证券交易印花税收入2511亿元,同比增长54.1%

界面新闻
2026-11-20 16:52:36
深圳APEC晚宴的主桌座次,很有深意

深圳APEC晚宴的主桌座次,很有深意

煮酒杂谈
2026-11-20 20:40:05
1999年,赖昌星带着3700万元进京,想打点海关总署副署长牟新生,结果连面都没见上;回去后他对厦门海关关长放话:以后想办法把他除掉

1999年,赖昌星带着3700万元进京,想打点海关总署副署长牟新生,结果连面都没见上;回去后他对厦门海关关长放话:以后想办法把他除掉

人生录
2026-11-06 07:30:25
不得了!日本做了一个极其恶劣的决定!

不得了!日本做了一个极其恶劣的决定!

故事终将光明磊落
2026-11-20 14:44:07
穆里尼奥:维尼修斯不是特权球员,C罗的决定我洗手不管

穆里尼奥:维尼修斯不是特权球员,C罗的决定我洗手不管

懂球帝
2026-11-20 19:43:16
特朗普:伊朗“不想达成我能接受的协议”

特朗普:伊朗“不想达成我能接受的协议”

新华社
2026-11-21 06:47:11
Anthropic数学家称与Claude合作证明黎曼猜想

Anthropic数学家称与Claude合作证明黎曼猜想

界面新闻
2026-11-21 07:48:44
宁愿把80%石油绕远送欧洲,也不愿就近多给中国,到底图什么?

宁愿把80%石油绕远送欧洲,也不愿就近多给中国,到底图什么?

慕名而来只为你
2026-11-19 21:45:20
俄罗斯总统普京重磅发声:不再谈判!宣布重大军事决定,将强力回击乌克兰

俄罗斯总统普京重磅发声:不再谈判!宣布重大军事决定,将强力回击乌克兰

战域笔墨
2026-11-21 06:22:57
上海爷叔铁了心娶小35岁女子,三次将子女告上法庭!家人:她从事过特殊行业

上海爷叔铁了心娶小35岁女子,三次将子女告上法庭!家人:她从事过特殊行业

上观新闻
2026-11-21 09:01:31
2026-11-21 09:28:49
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
226文章数 79关注度
往期回顾 全部

头条要闻

多国领导人感谢中国 特朗普连用2个"amazing"点赞深圳

头条要闻

多国领导人感谢中国 特朗普连用2个"amazing"点赞深圳

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

旅游
亲子
家居
房产
公开课

旅游要闻

奔赴山海之约 藏在冬日里的浪漫山东

亲子要闻

人类幼崽对警察的恐惧!网友:早知道你是警察我就不让你当我爸爸

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版