登顶 Science 背后，达摩院医疗 AI 的「自我革命」

从“一病一模”到“一图通吃”：AI 影像的专才时代正在终结。

编辑丨李希

2022年，AI算法专家张建鹏加入阿里巴巴达摩院医疗AI实验室的时候，团队正在酝酿一项世界级突破：

能不能用AI，去识别平扫CT上人眼难以识别的早期癌症病灶，改写癌症发现即晚期的悲剧？

这个大胆的猜想后来变成了现实。

沿着“平扫CT+AI”这条原创技术路线，达摩院先后研发出了针对胰腺癌、胃癌、肠癌、食管癌、肝癌等一系列AI模型，光是Nature Medicine就拿了下4篇。

该刊更对此作出了一个重要断言：基于影像的癌症筛查将进入黄金时代。

张建鹏当时认领了其中的“肠癌AI小分队”，研发出DAMO COCA模型，为人类抗击第二大“癌症杀手”，提供了一种无需插管的新筛查途径。

也正是在这个过程中，他对真实的临床世界有了新的理解：

医生每天面对的，是这世界成千上万的疾病，而患者也不会按“单病种”来患病。事实上，同一份CT影像上，可能就包括了好几种异常。越是这种时候，越容易发生遗漏。

能不能有一种AI模型，像雷达一样大范围探测，所有病灶无所遁形？

3年以后，9月18日凌晨，Science刊发了一篇重磅论文：

An Expert-Level Generalist AI for Abdominal CT Diagnosis（一种面向腹部CT诊断的专家级通用AI）。

针对腹部增强CT诊断，它可一次性识别超过146种病症。平均准确性首次达到影像科专家水平。

可以说，这是国际上第一个真正的通用影像AI模型。

它的名字，叫DAMO RADAR（“雷达”）。

01

AI 大势，分久必合

影像无疑是医疗AI最为明确的方向。

在医疗这个容错率极低的特殊领域，任何一丝大模型幻觉，都关乎着人命。

因此，影像凭借成熟的视觉技术路线，以及“有图有真相”的确定性，成为最早落地的医疗AI类型。

以CT影像上的肺结节、眼底彩照上的糖尿病视网膜病变为代表，一批识别的比医生快、医生好的影像AI模型涌现。

达摩院开创的“平扫CT多癌早筛”技术路线，则更进了一步，超越人眼极限，识别过去医生难以发现的细微病灶。

从“癌症之王”胰腺癌，到复杂易变的胃肠道空腔脏器，达摩院在平扫CT上解锁了一个又一个过去医生不太会在平扫CT上去看的病种，在外界引发巨大反响。

直到这一步，业内所有的影像AI基本上都是专病模型，也就是一个模型，只负责看一种病。

这样固然能把AI模型的性能推到极致。但“一病一模”，每换一个攻坚对象，就要换一批训练数据、重新请一批专科医生帮忙标注，人工智能的背后是大量人工劳动。再加上训练和验证，一晃就是两三年的时间。

“真正让我产生冲击的是，即使一个项目做成功了，我们解决的也只是一个问题”，张建鹏意识到，辛苦训练好的专病模型无法泛化到其他病种上，这样下去，可能一辈子也攻克不了几种病。

影像AI，也许可以有另一种形态：在一次CT上，识别扫描范围内的所有器官、所有疾病。而这种形态的AI，势必需要一种不那么吃人工标注的新学习范式。

张建鹏在博士期间就关注过视觉-语言模型（VLM）在医疗领域的应用，他隐隐觉得，沿着这个思路，没准能走上一条通用医疗AI之路。

要知道，每份CT影像，都会配套一份影像医生撰写的诊断报告，何不直接把这些现成的“教材”利用起来，让AI一边“看”影像，一边“学”相应的文字描述，这样就无需额外标注了。

方向有了，先从哪种影像开始做起呢？

02

腹部CT，影像科的“地狱模式”

正当达摩院的AI科学家跃跃欲试一种通用影像AI模型的时候，浙江大学医学院附属第一医院（简称“浙一”）的放射科医生正饱受一类片子的折磨：

腹部增强CT。

它难就难在，里面可能藏着太多可能的疾病，单病种AI无异于杯水车薪。

浙一放射科主任肖文波是有着30年从业经验的资深专家，带领着一支几百号人的队伍，每天检阅几千份CT影像。

她这么设计一个影像医生的成长线：先从胸部CT这种器官少、对比度明显、辅助软件众多的“新手村”出发，再到神经CT和骨肌CT上强度历练，最后才能进腹部CT。

为什么？因为腹部CT堪称影像科的“地狱模式”，几十个器官和系统堆叠，从消化系统、泌尿系统、生殖系统，还几乎都是软组织，密度差不太多，看起来就是灰蒙蒙的一团乱麻。即便增强CT已经注射了造影剂，对肉眼也是极大的挑战。光一个弯弯曲曲盘绕着整个腹部的肠道，就要从横断位、冠状位、矢状位重建，反反复复地看。

更别说，增强CT本身其实并不是一张图片，而是几个扫描期相几百张切片的结合。可以说，比起看图，影像科医生更像是在“翻书”。每一页上几个像素的明暗变化，都可能藏着细微的病灶。

肖文波坦言，即使是她自己，看一份腹部CT至少20分钟，遇到疑难病例，花上1小时也不奇怪。“我们有一句话，‘同病异影、异病同影’。有时候两种不同的肿瘤，看起来一摸一样；而同样一种肿瘤，反而长得不一样。我就算水平再高，也不可能对所有的肿瘤、所有的特征都有经验，人可能一辈子都无法积累这样多的经验。”

有时候，她也不忍心苛责年轻医生的失误，但他们要开具的是对临床医生和患者都极为关键的一份“证据”：

“任何一个人知道自己身上哪里长了东西，哪怕就是个息肉，也都会紧张的，更别说如果是一个小肿瘤，你漏了，等过半年、过一年，它长得很大了，治疗方案完全是不一样的，生存期完全是不一样的。所以我们只能尽量去把报告写得完美。”

至于AI，肖文波这些年来当然也接触了不少，基本上都是单病种模型，用于腹部的并不多。全腹部通用的AI？

“我们连想都不敢想。虽然很渴望，但心里也清楚这太难了。”

这反而让达摩院下定了决心。既然是全新的探索，那干脆就选最有需要、最有价值的领域。锤子和钉子，总得有一头是确定性的。

“这当然不是那种一定能成功的项目，”张建鹏心里很清楚。真正的创新往往从这种项目里长出来的。

03

“对齐颗粒度”，效果立竿见影

“对齐颗粒度”本是一句大厂“黑话”，却意外成为了研发中最关键的转折点。

2024年初，浙一和达摩院正式合作，在一部分器官上初步验证了技术路线的可行性，但模型的精度提升很快遇到了瓶颈。

原因很明显，在庞大的三维CT数据中，绝大部分是正常的器官、脂肪、骨骼，其中潜在的病变信号非常稀疏，容易被正常背景“淹没”。

衡量AI诊断精度的关键指标，是AUC。这是一个介于0和1之间的数值，0.5代表盲猜，而1代表AI能完美区别“有病”和“无病”。

美国斯坦福大学的一个团队几乎在同期做了一个名为Merlin的腹部CT诊断模型，大约选取了其中30种疾病覆盖，后来先一步在Nature上发表。Merlin的AUC大概在0.812左右， 并没有到医生的平均水平。

但达摩院想做的，是一个临床医生真的能用上的AI。

张建鹏几乎每周都要跑一趟医院，与医生交流。在这过程中，他从一个只懂代码的计算机博士，逐渐理解起医生阅片时大海捞针的逻辑：

首先要看临床医生的开单原因，患者是为什么拍片子？有什么地方不舒服？医生先从那灰蒙蒙的一团乱麻里定位到相关的器官，重点关注，显然，这里更有可能出现病变。

再接着排查其他器官，看看有没有临床上还没有被关注到的其他病灶。有了初步的怀疑，还要结合患者的病史和其他一些检查（比如抽血），综合性地判断。

“先定位到器官”这个步骤引起了他的注意。以往用VLM去做通用影像AI的尝试，包括Merlin，用的都是全局对齐，也就是让AI同步建立整份影像和整份报告的对应关系。

但在这个过程中，AI可能会“学偏”、也会“走捷径”，把医学上并不相关的两个特征联系起来。

何不让AI借鉴一下人类的方法？先把影像和报告按照器官分割起来，再对比学习，让AI从“全文学习”，变成“逐句学习”。

这在专业上，叫做解剖级的细粒度对齐。

达摩院医疗AI实验室在器官分割方面有很深厚的技术积累，此前单病种模型就离不开这种底层模块。这次，团队把器官分割模块内置到了模型中，而不是作为外挂工具，确保AI能够原生理解这些解剖结构的关系。

此外，张建鹏还想到，标准的对比学习会让来自同一个体的视觉和文本特征尽量靠近，而让来自不同个体的特征尽量远离。但事实上，不同患者的正常器官应该是差不多的，患有同种病的不同患者也差不多，让它们远离，不符合医学逻辑。

RADAR从而引入了自适应的对比建模策略，根据每个样本的具体情况动态调整。

这些从医学视角出发的技术创新，效果立竿见影。

“这一次，AI好像并不只是刷爆某类题型、背诵某些标签的熟练工，它可能真正理解了一些医学影像的逻辑。”

张建鹏选取了腹部18种器官、146种疾病进行验证，在近4万次真实世界检查中AUC可达0.913，跨越了人类医生平均水平这道门槛。

更令他兴奋的是，原始训练数据并不包括急诊拍的CT，但当他们把AI部署在环境复杂、病因多样的急诊场景验证，在17种常见的急腹症上，AUC也达到了0.904。

这意味着，146种只是验证范围的边界，却不是RADAR模型能力的边界。

04

影像医生和 AI 科学家，

都在思考未来

“当我们和AI‘对答案’，我才真的相信，我们有了一个通用腹部影像AI。”

研究团队邀请了来自14个机构的26名放射科医生，包括11名资深医生和15名初级医生，与AI分别阅读300名患者的CT影像。结果，仅有3名资深放射科医师的表现略优于AI，其余医生的平均准确率低于AI。

当然，这是排除了主诉、病史、其他检查结果的“只看影像”PK，完全是AI的舒适区，并不是正常的医生工作状态。

更值得关注的或许是人机协作试验。在AI辅助下，医生发现疾病的敏感性提高了10%，平均时间则减少了30.7%。有AI辅助的初级医生甚至可以超过资深医生。

曾经认为不可能的全腹部AI，终于来了。对肖文波来说，这是一个重要时刻。她重新认识到AI的能力，也开始系统性考虑影像医生的未来。

“我想了很久，这个AI我们到底要怎么用？首先当然是帮我们服务临床，服务患者，这是最主要的。但其次，不能让AI截断年轻医生的成长。”

正如有些医疗AI批评论者指出的，“如果把AI撤掉，年轻医生的水平又一下子回去了。这是为什么？因为影像诊断本质上是一种思维，而AI容易让人忽略这个思维过程。”

肖文波想到30年前，她还坐在老师的桌边，看老师手把手批改她的报告。在影像检查爆炸式增长的当下，这种“一对一”带教时间尤为奢侈，而AI正好可以补上这块空白。

她希望年轻医生可以先自己看一遍影像，再对比AI的“参考答案”查漏补缺，反思成长。AI时代，人最不能跳过的，是思考。

而在达摩院，AI科学家们也在思考影像AI的未来。

达摩院资深算法专家、多癌筛查技术负责人张灵认为，专病模型和通用模型并不是替代的关系，而是会将长期并行存在。

医疗场景对容错率的要求极高，专病模型的核心价值是高精度，而通用模型的核心价值是广覆盖。“专才”和“通才”在不同的临床场景里各有用武之地，例如癌症筛查需要针对单病种的极致特异性，尽量避免假阳性产生造成恐慌；而腹部增强CT诊断，更强调多器官、多病灶的不遗漏。

张建鹏则相信，RADAR的研究范式，还能够应用于其他形态的医疗影像，比如核磁、超声、PET-CT，推动医疗走向通用AI时代。

从表面上看，从PANDA到RADAR，像是达摩院医疗AI的一次“自我革命”——从专病模型，走向通用模型。

但两条路线本质上是想解决同一个灵魂拷问：

什么样的医疗AI，才是医生和患者真正需要的？

或许人类最终会拥有一款又“精”又“广”的医疗AI模型，但在这一天到来之前，达摩院不会放弃任何一种可能性。

开源地址：https://github.com/alibaba-damo-academy/damo-radar

论文链接：www.science.org/doi/10.1126/science.aec6129

未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！

公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。