![]()
《JAMA 网络开放》2026 年 9 月 1 日发表了加州大学旧金山分校的一项对照研究。研究组把四项免疫治疗早期临床试验上报的副作用清单,和同一批病人门诊病历里写下的症状逐条比对,又让 GPT-5 从病历里自己抽一遍。结果是:医生从病历里认定的 200 项副作用,只有 47 项出现在试验的正式报告里,占 24%。
临床试验报告是药品说明书上那张副作用发生率表的来源,也是监管部门评估一个药安全性的材料之一。如果病人在诊室里说过的不适,有四分之三没有走进这张表,那么这张表到底在数什么?
这项研究的规模很小:只纳入了 4 项 I 期或 II 期免疫治疗试验、21 名患者、54 次门诊记录,全部来自一家中心,属于探索性的方法学研究,不是流行病学调查。它能说明两套记录之间存在系统性的错位,说不了错位有多普遍、幅度有多大。
一、两套记录差了多少
第一个方向是从试验报告往病历里找。四项试验一共上报了 91 项副作用。三位临床医生按美国国立癌症研究所的不良事件通用术语标准第 5 版(CTCAE 5.0)逐条阅读病历,多数票形成共识,这份共识只在病历里找回了其中 47 项,占 52%。GPT-5 找回 37 项,占 41%。也就是说,试验报上去的副作用,有将近一半在病历文字里找不到对应的记录。
反过来从病历往试验报告里找,医生共识在病历里一共认定了 200 项副作用,其中只有 47 项进了试验报告,就是开头那个 24%。
GPT-5 的位置在第三个方向上。它用零样本提示抽取,在 54 次门诊记录上与医生共识比对,平均 F1 值 0.76(95% 置信区间 0.70–0.82),与单个医生各自对上共识的水平相当。它捕到了医生共识那 200 项里的 137 项,占 69%。它还抽出 3 项试验报过、但三位医生都没从病历里认出来的条目,包括咳痰、流感样症状和乏力;另外抽出 46 项试验和医生都没记的,最常见的是气促、头晕和胃食管反流。
GPT-5 一共抽出 186 项。下图是原文 Figure 2,三个圆分别是试验报告的 91 项(Trial-reported)、GPT-5 抽出的 186 项(LLM-extracted)和医生共识的 200 项(RC-identified),圆里的数字是落在各个区域的条目数。三个圆共有的部分只有 34 项,而试验报告那个圆有 41 项谁也没对上。
![]()
二、为什么两套记录会对不上
看到 24% 这个数字,第一反应容易是有人漏报。但两套记录的生成方式不同,它们回答的根本不是同一个问题。
试验报告里的副作用是这样产生的:研究护士或研究医生在随访节点上,对照 CTCAE 的条目表,判断患者出现了哪些事件、几级、与试验药是否相关,然后上报。这道流程有三重筛选:先判断这个症状跟药有没有关系,再判断够不够得上需要上报的级别,最后还要落到 CTCAE 的某个标准名称上。筛完留下的是重的、典型的、有监管意义的事件。研究里试验报过而病历共识没认出的条目,正是房颤和细胞因子释放综合征这一类。
病历的自由文本是另一套逻辑。医生在诊室里写病历,目的是记下这次就诊的主诉和处理,不做归因,不套 CTCAE 的名称,也不分级。病人说这两周老是累、夜里起来好几趟,医生就写进去了。所以病历共识抓到而试验没报的,多是乏力、尿频这种在 CTCAE 里级别低、归因难的症状。
两套记录的入口规则不同,出口自然对不上。试验报告筛的是该不该上报,病历记的是这次病人说了什么。它们的交集只有 24%,是两套筛子的必然结果,不能直接读成隐瞒。
错位还有另一个方向上的原因。试验报过、医生共识却没从病历里认出的一共 44 项,其中包含房颤和细胞因子释放综合征这类要紧的事件。论文没有解释这 44 项为什么找不到,按临床试验的常规流程推测,严重不良事件走的是独立的快报通道,记录多落在住院病程、抢救记录和事件报告表里,本来就不会完整出现在一次门诊的主诉中,而这项研究只读了门诊记录。这一层属于推测,论文没有提供证据。可以确定的是,24% 这个比例里混着两种不同的情况:轻症状没被上报,和重事件不在这批文本里。
还有一层更麻烦的干扰。研究者提出一个解释:病历里大量存在复制沿用的历史文本,上一次的症状描述被整段带到这一次,读的人分不清这个症状是本次新出现的、还是从上个月一直延续下来的。副作用判定很在意时间点,一个症状是新发还是持续,决定它算不算一个事件。文本本身把时间线搅浑了,后面无论人读还是模型读,都在同一份被搅浑的材料上工作。
![]()
三、连三位医生都判不一致
这项研究里还有一个数字,是三位临床医生之间的一致性。研究用 Krippendorff α 衡量,结果是 0.56,属于中等水平。
这意味着,面对同一份病历,三位受过训练的医生对这里有没有一个副作用、是哪一条的判断,只有中等程度的吻合。研究者据此写了一句很克制的话:副作用识别的参考标准本身具有内在的不确定性,很难把医生之间、医生与试验报告之间、模型与医生之间的分歧,干净地归类成漏报、过度识别还是文本理解差异。
人们习惯把医生判读当作金标准,把 AI 的表现拿去跟它比。可这个标准自己就在 0.56 这个水平上晃动。于是 GPT-5 的 F1 值 0.76 应该怎么读?它的含义是:GPT-5 与三位医生合成的共识,吻合程度跟任一位医生和这个共识的吻合程度差不多。它不等于"AI 达到了 76% 的正确率"。参照物有多牢,结论就只能有多牢。
![]()
四、AI 能替人做哪一段
上一张图里的五道关,AI 能插手的只有第二道到第三道之间,也就是把病历文字里已经写下的症状捞出来、编成码。
模型做得了的是病历这一侧的打捞。病历里的症状是现成写着的,把它们全部找出来、统一编码,量大、重复,人做起来慢,而且不稳定。研究里 GPT-5 只用零样本提示,就把医生共识的 69% 捞了出来,还捞出 3 项医生漏掉的。这类工作交给模型,可以做得比人更全、更一致。
归因和分级则轮不到模型来做。判断气促是免疫性肺炎的早期表现,还是病人本来就有的心功能问题,需要把这次抽血、这次影像、这个病人过去半年的情况放在一起权衡。研究者的措辞是,用模型抽取来补充试验报告,同时保留传统的人工审阅来做具有临床情境的判断。按能力分工就是这个意思:模型负责病历里写了什么,人负责这意味着什么。
研究者还提到这项工作与监管方向的呼应:把 AI 用于药品审评相关流程已被列为监管优先事项之一。如果未来说明书上的副作用表要把病历这一侧的信息也纳进来,那么先解决的应该是参考标准的不确定性,而不是先追求抽取速度。
![]()
五、这项研究不能推出什么
研究者自己列了几条限制。
样本量小,队列人群构成单一,外推性受限。21 名患者、54 次门诊记录、一家中心,24% 和 69% 这两个比例的置信区间会很宽,换一批试验、换一个瘤种、换一家医院,数字都可能明显不同。
排除了实验室相关的副作用。肝酶升高、血细胞下降这些靠化验单判定的条目没有纳入,而它们在免疫治疗里占比不低。所以这项研究谈的是症状类副作用的记录错位,不覆盖检验指标类。
参考标准不完美。α 0.56 已经说明了这一点。
在此之外还有两点:研究是回顾性地在已有文本上做比对,没有前瞻性地把模型放进真实工作流跑一遍;GPT-5 用的是零样本提示,没有做提示优化,也就是说这个表现既不是模型上限,也不代表调优后的稳定水平。
那么哪个数字更值得信?就副作用的发生率而言,仍然是试验报告和汇总分析里的数字,因为它们经过了归因和分级,回答的是"这个药造成了多少事件"。病历那一侧多出来的条目,回答的是另一个问题:"用这个药的人,日子里出现了多少不适"。后者不能直接换算成前者,但对准备用药的人来说同样有参考价值。
最后,这项研究不能推出"说明书上的副作用发生率被低估了四分之三"。24% 讲的是两套记录条目的重叠比例,不是发生率的比值。免疫治疗的副作用发生率约 40%,这个数字来自这项研究引用的既往文献,不受它自身规模的限制。
对看病的人有什么用
如果你正在用免疫治疗,或者在参加临床试验,把不舒服的地方说出来、让它进入病历,本身就有意义。乏力、头晕、气促、反酸这类症状,在正式上报的清单里权重低,但它们构成了病人真实的日子,也是医生判断要不要减量、要不要暂停的材料之一。说了并记下来的症状,才有机会被后面的人看见。
免疫治疗的副作用处理有明确的分级原则和时间窗,出现新发的气促、持续腹泻、皮疹扩大这类情况应当及时联系主诊团队,不要自行判断轻重。具体诊疗请遵医嘱。
参考来源
· Elia MV, Friesner ID, Kwon D, et al. JAMA Netw Open 2026;9(9):e2631840
· National Cancer Institute. Common Terminology Criteria for Adverse Events (CTCAE) Version 5.0
内容为健康医疗知识分享,不能替代面诊。正在接受免疫治疗、出现新发不适,请联系主诊团队或到正规医疗机构就诊。
AI 辅助整理,作者审核;内容仅供参考,具体诊疗请遵医嘱。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.