AI 诊断准不准，让它答 5 遍看稳不稳

大模型看病例，十个里能答对九个，可它不会告诉你错的是哪一个。《自然·医学》（Nature Medicine）2026 年 9 月 15 日在线发表的一项研究给了一个很朴素的办法：同一份病例让 AI 从头到尾独立做 5 遍，5 遍的诊断一致，才让它自己拿结论；5 遍答得各不相同，就交给医生。

按这个规则分流，551 例模拟病例里有 272 例留给 AI 自己处理，这部分的准确率是 98.9%，错了 3 例；另外 279 例转给医生，AI 答错的 52 例里有 49 例落在这一组。

研究由德国德累斯顿工业大学数字健康中心的 Jakob Kather 团队完成。这是一项用历史病历做的模拟研究，没有一个真实病人被 AI 看过病。

AI 自己说有把握，为什么不算数

最直觉的办法是问 AI 有多大把握。

大模型每生成一个字，内部都有一个概率。把诊断那几个字的概率合起来，就是 AI 的自评把握，论文里叫内部概率。另一种是看它说话的口气，满篇「可能」「不排除」，算没底气；斩钉截铁，算有底气。

研究把这两种办法和「答 5 遍看一致不一致」做了比较。衡量指标叫曲线下面积（AUC），意思是随便抽一个答对的病例和一个答错的病例，这个信号能把两者排对顺序的概率；0.5 等于抛硬币，1.0 是每次都排对。

结果是，5 遍一致度的 AUC 为 0.860，AI 自评把握为 0.747，两者的差别有统计学意义。一致度最高的一档病例，准确率在 99.0% 到 100.0% 之间，不管 AI 自评把握是高是低。

自评把握为什么不灵？大模型的概率反映的是「这句话顺不顺」，不完全等于「证据支不支持」。一旦推理开了头，往下接哪个字都顺理成章，诊断那几个字的概率自然就高。这一条是一般性的解释，论文没有专门去验证。

答 5 遍，为什么能分出对错

大模型在默认设置下带有随机性，同一个问题问两遍，回答可以不一样。论文在引言里专门提到这一点：同样的输入在常用采样设置下会得出不同输出，多步推理时，小的差别还会一路放大。

这种随机性在这里反而有用。病史、化验、影像都指向同一个诊断时，AI 每次推理都被证据拉回同一个答案，5 遍答案一致。证据不够、或者几个病都说得通时，AI 每一遍选的路径不同，答案就开始分散。

打个比方，在陌生城市问路，同一个人问三遍，三遍指的方向都一样，大概率他真认识路；三遍指了三个方向，就算他每次都说得很笃定，你也不会照着走。

研究还做了一次压力测试，专门拆掉证据：不给 AI 病人的初始病史，模拟病人还可能给出不可靠的叙述。准确率从 90.6% 掉到 70.2%，551 例里有 123 例从对变错。

这时候三个信号的表现差得很远：

• 5 遍一致度明显下降，跟着准确率一起往下走；

• AI 自评把握和说话口气只降了一点；

• 肺炎病例里，准确率下降，自评把握和口气反而上升，稳定在 0.90 以上。

自评把握在证据被拿走后仍然偏高，这种情况很危险：答案变差了，AI 自己的信心却没跟着降。一致度在压力测试下的 AUC 是 0.875，还略有上升，说明它对「证据够不够」这一点比较敏感。

一半病例放行，错的集中到了医生手里

下图来自原文 Fig. 6。左边是按 5 遍一致度设门槛，右边是按 AI 自评把握设门槛；每根柱子上半截是放行病例的准确率，下半截是放行的比例。

用一致度 0.90 作门槛，放行 49.4% 的病例，准确率 98.9%。改用自评把握，门槛提到 0.98 时，放行比例只有 22.5%，准确率也只有 97.6%。一致度放行的病例是自评把握的两倍多，准确率还略高。

换成每 100 例看更直观：AI 自己处理的一组，每 100 例约 1 例答错；转给医生的一组，每 100 例约 18 例答错。原本平均摊在 551 例里的 52 个错误，大部分集中到了医生要复核的那一半里。

这对医院意味着什么？AI 的总体准确率一点没变，变的是错误的分布。医生不用一份一份去复查 AI 的全部结论，可以把精力放在 AI 自己也拿不准的那一半上。

问几遍、花多少算力，也有讲究：

① 问的次数越多，放行组越干净。问 3 遍，放行组残留 7 例错误；问 5 遍，3 例；问 10 遍，1 例。代价是放行比例从 51.7% 降到 46.3%。

② 每多问一遍就多花一遍的算力。问 5 遍，AI 消耗的计算量大约是问 1 遍的 5 倍。

答 5 遍都一样，也可能一样地错

一致度不能把错误清零。放行组那 3 例错误，加上外部测试里的残留错误，研究者逐例看过，分成了两类。

第一类其实算不上 AI 错。有一例病历诊断写的是憩室炎，AI 每次都答肠脂垂炎，和影像报告一致；医生复核发现，当年用的国际疾病分类第 9 版里没有肠脂垂炎的专门编码，只能拿近似的诊断代替。在随机抽查的 181 例里，医生认为有 4.4% 是 AI 的诊断合理、病历上的标准答案反而有问题。

第二类是真错，而且错得很稳。一个高钙血症的病例，标准答案是原发性甲状旁腺功能亢进，AI 5 遍都答多发性骨髓瘤。两种病都会让血钙升高，骨髓瘤又是大家熟悉的典型故事，AI 抓住一个说得通的解释就收了口，没有去找能把两者分开的证据。

这种错误临床上叫过早下结论（premature closure），医生也会犯：一套解释自圆其说，就不再往下查。重复问 5 遍对它帮不上忙，因为 AI 每一遍都掉进同一个坑里，答案照样一致。

所以 5 遍一致只说明 AI 的判断稳定，不等于判断正确。一致度能抓住的是 AI 拿不准的病例，抓不住 AI 很有把握却错了的病例。

为什么要放在本地服务器上跑

这项研究还有一个前提容易被忽略：整套 AI 跑在研究机构自己的服务器上，病历数据不出机构，用的是可以下载到本地的开源模型。

研究比较了 4 个本地开源模型和 1 个云端商用模型（GPT-5.2）。在七种病的测试集上，最好的本地模型准确率 90.0%，云端模型 90.7%，只差 0.7 个百分点。在另一个四类腹部急症的测试集上，本地模型准确率 83.8%，此前同类开源模型公开的最好成绩是 70.5%。

本地部署和答 5 遍放在一起，各方的得失大致是这样：

• 病人的病历不用传给外部的模型公司，隐私风险小一些；

• 医院要自己买显卡、出算力，答 5 遍又把算力需求放大到约 5 倍；

• 放行门槛、什么时候转人工，由医院自己定、自己改，不依赖外部公司；

• 医生的复核量大约减半，但放行组仍有少量错误，最终责任怎么分，研究没有回答。

论文还提到，门槛不能照搬：模型的采样设置、用来比较答案是否相同的工具、问的次数，任何一项变了，0.90 这个数对应的效果都会变。换一家医院、换一个模型，门槛都要重新校准。

这项研究还不能说明什么

这些数字都来自模拟，不是真实门诊。551 个病例取自美国一家医院的去标识化病历库，AI 面对的「病人」是另一个按病历扮演的 AI，问诊、查体、化验都在电脑里完成，这和真实病人的表达、隐瞒、焦虑都不一样。

研究也测了另一组更难的病例，来自 PubMed 上医生整理的病例报告，覆盖 10 个专科组。参与比较的本地模型里，最好的准确率降到 72.2%，一致度区分对错的能力也降到 AUC 0.719；用 0.85 作门槛时，放行 32.0% 的病例，准确率 89.9%。换了病例来源，效果明显打折扣。

还有一个信号要警惕：在两个主要测试集上，老年组的准确率都比年轻成年人低。老年病人本来病情风险就高，如果真实使用中 AI 在这部分人身上也错得更多，就是雪上加霜。作者明确说，这一点需要专门的偏倚审查，目前只是描述性的发现。

另外，研究只处理文字，不看影像原片；论文通讯作者为多家医药和 AI 公司提供咨询并持有股份，论文里已经声明。

对普通人有什么用

这项研究的思路，对普通人自己用 AI 查症状也有参考价值。

自己用聊天机器人查症状时，AI 回答得很笃定，并不代表它真有把握。同一个问题换个时间、开个新对话再问一两遍，如果答案前后不一，多半说明手上的信息不足以下判断，这时候更该去医院，把检查做全。这个做法是从研究思路推出来的，研究本身没有在普通人身上验证过。答案前后一致，也只说明它稳定，不说明它对；胸痛、呼吸困难、一侧肢体无力、说话不清这类情况，不要问 AI，直接就医。

医院里的 AI 要走的路更长。这项研究回答的是「AI 什么时候可以自己拿主意、什么时候必须叫医生」，下一步需要在真实的工作流程里，看它会不会让医生过度依赖、复核量是不是真的下降、病人的结局有没有变化。这些都要前瞻性研究来回答。

参考来源

Zhang L, et al. Nat Med 2026

AI 辅助整理，作者审核；内容仅供参考，具体诊疗请遵医嘱。