Adv Sci｜Junhan Zhao团队开发自适应灵活多模态AI，为结直肠癌预后分层打通“最后一英里”

近年来，病理 AI 模型层出不穷。新的基础模型、新的多模态框架几乎每周都在刷新公开数据集上的指标。但一个尴尬的现实是：这些在论文里表现亮眼的模型，真正进入医院、稳定服务于临床决策的寥寥无几。

问题出在哪里？绝大多数模型都默认一个理想前提：训练时有什么数据，部署时就有什么数据, 训练数据长什么样，临床数据就长什么样。 在 TCGA 这样数据齐全、流程标准的公共数据库上，模型可以同时用上病理切片、基因组测序和完整的临床记录。可换一家医院，情况就完全不同了。基因检测昂贵且耗时，许多医院只有 HE 染色切片, 染色方案、扫描仪、患者人群和随访方式也各不相同。模型在一家机构训练，到另一家机构就"水土不服"。这背后的根源是域偏移（domain shift），以及不同机构之间数据资源的严重不平衡。

近日，芝加哥大学/哈佛医学院助理教授Junhan Zhao团队联合南华大学附属第一医院，在 Advanced Science 期刊发表了题为A Generalizable Multimodal Model for Treatment-Stratified Risk and Survival Assessment under Real-World Constraints: A Multi-Center Study of Colorectal Cancer的研究论文。该研究提出了域自适应不完整多模态分层框架DAIMS（Domain-Adaptive Incomplete Multimodal Stratification）。

研究团队提出：训练时充分利用病理、基因组和临床报告三种模态，部署时只需一张病理切片。模型在 TCGA 的 351 例样本上训练，在来自中国（F1CRC，420 例）和英国（SURGEN，422 例）的两个独立外部队列上验证。适配后的 DAIMS 将 C-index 在 F1CRC 上提升 5.6%–13.9%，在 SURGEN 上提升 4.1%–9.0%。该模型在不同疾病分期、分子亚型和治疗方式的患者中都实现了稳定的生存分层。

图1. DAIMS 框架概览。TCGA 队列具备完整的病理、基因与临床报告，外部队列仅有病理切片

病理 AI 的瓶颈：不在基准上的模型精度，而在“落地鸿沟”

研究团队指出，多模态预后模型从论文走向临床，要同时跨过三道坎。

第一道是视觉偏移。不同机构的染色方案、扫描设备、分辨率和制片流程不同，同一种组织在不同医院的切片上可能“长得完全不一样”。

第二道是队列与标签偏移。患者人群、治疗路径、删失模式和随访时间分布都存在差异。一个在 TCGA 生存时间分布上优化的风险预测头，换到另一个队列后很可能校准失灵。

第三道，也是最常被忽视的一道，是模态可用性偏移。科研数据库里"三模态齐全"是常态，但许多医院只有病理切片和少量临床信息。基因测序受成本和周转时间限制，临床报告则多以非结构化文本形式散落在系统里。

本研究的三个队列，恰好呈现了这种真实世界的异质性。TCGA 以白人患者为主（71.2%），F1CRC 全部为东亚患者，SURGEN 来自英国、以高加索人群为主。直肠癌在 F1CRC 中占 48.6%，在 TCGA 中仅占 10.0%, SURGEN 中 III 期患者占 45.5%，明显高于 TCGA 的 29.6%。更关键的是，只有 TCGA 具备完整的基因组和临床报告数据，两个外部队列在推理时只能使用病理切片。

训练时“全副武装”，部署时“一张切片”

DAIMS 不再要求部署环境和训练环境“一模一样”，而是把模态缺失本身当作一种域偏移来处理。它包含三个相互配合的核心设计。

原型 (Prototypes) 引导的聚合与融合：模型为不同风险分层的患者各学习一组高斯原型，从成千上万个切片图块和多模态特征中，筛选出与预后最相关的少量关键 token。

跨模态表征补全：在训练阶段，模型学习从病理图像特征中"推断"出基因组和临床报告的潜在表征。结果显示，基因通路特征的重建保真度很高（余弦相似度 0.966），临床报告嵌入的重建为中等一致（余弦相似度 0.780）。研究团队认为，这一模块的主要作用是作为正则项，促使病理特征吸收分子和临床信息，而不是逐字还原原始数据。到了只有切片的医院，模型就用这些"病理衍生的替代表征"补上缺失的模态。

语言模型主干：各模态 token 经轻量适配器映射后，送入参数冻结的生物医学语言模型（BioBERT）进行序列级融合，不增加额外可训练参数。

无需目标医院标签，就能“入乡随俗”

真正让 DAIMS 面向落地的，是它的轻量级目标域自适应策略。部署到新医院时，模型只用该医院未标注的病理切片，由原模型生成伪风险标签，再仅更新 WSI 适配器和预测头。病理编码器、补全模块和语言模型主干全部保持冻结。

整个适配过程完全不使用目标医院的生存时间、删失状态或风险分组标签，这些域外信息仅用于最终评估。这意味着一家新医院不需要先积累多年随访数据，也能完成模型的本地化。

适配效果清晰可见。适配前，F1CRC 的风险预测整体偏低，SURGEN 的预测则集中在中位数附近，难以区分高低风险。适配后，预测风险分布与实际事件时间分布的重叠度在 F1CRC 中从 0.744 升至 0.858，在 SURGEN 中从 0.887 升至 0.925, 两个队列在全部 6 个时间节点上的 IPCW Brier 分数均有所下降。多轮迭代后性能稳步提升或趋于平稳，没有出现伪标签误差累积导致的性能回落。

跨机构、跨人群，表现依然稳健

在源域 TCGA 上，使用 CONCH v1.5 特征时，DAIMS 的平均 C-index 达到 0.761，优于 ABMIL（0.681）、ILRA（0.718）和 WIKG（0.703）等病理单模态方法，也优于 CMTA、MOTCAT、SurvPath 等多模态方法。即使人为移除部分基因组和临床报告数据，性能也仅有小幅下降（如 0.744）。这一优势在 UNI v1、UNI2-h、Virchow2 三种病理基础模型上均得到重复，说明增益并不依赖某一个特定编码器。

在两个外部队列上，所有编码器配置和缺失比例设置下，DAIMS 预测的高、低风险组均实现了显著的生存分离（log-rank 检验，全部 p < 0.05）。适配后，F1CRC 上的 C-index 最高达到 0.810，SURGEN 上最高达到 0.734，在每个编码器组内都超过了对应的病理单模态基线。

值得注意的是，即使不做任何目标域适配，仅经过多模态训练的纯病理分支在外部队列上已经优于大多数专门的病理单模态模型。这说明多模态训练带来的表征优势，可以被“带进”只有切片的场景里。

在治疗和分子亚组内，仍能识别“同组不同命”

临床上更有价值的问题是：在接受同一种治疗、处于同一分期、携带同一种分子特征的患者中，模型还能不能进一步区分预后？

研究团队对三个队列做了系统的亚组分析。在 TCGA 中，放疗、药物治疗、化疗和手术各亚组内，DAIMS 都实现了显著的风险分层。在 F1CRC 中，无论是“手术+化疗”还是“单纯手术”，无论是未化疗还是接受 XELOX、FOLFOX 等双药方案的患者，以及保肛直肠切除（Dixon/AR）、结肠切除、姑息手术和不保肛直肠切除（Miles/APR）四类手术患者中，模型均能显著区分高低风险。在 SURGEN 中，早期（I–II 期）与晚期（III–IV 期）患者、BRAF 野生型与突变型、KRAS 外显子 2 野生型与突变型、错配修复功能完整（pMMR）与缺陷（dMMR）患者中，同样观察到显著分层。

这表明 DAIMS 捕获的预后信号并不只是在“复述”分期或已知分子标志物，而是包含了常规临床分类之外的额外信息。

看得懂的风险：注意力落在病理学上合理的区域

研究团队通过原型注意力热图，检查模型"在看哪里"。在预后良好的病例中，高风险注意力主要集中在局限的腺体形成型腺癌区域，低风险原型注意力覆盖大片良性肠壁组织和间质。在预后不良的病例中，高风险注意力则广泛分布于低分化腺癌区域，表现为浸润性片状、巢状生长、腺体结构几乎消失以及明显的促纤维间质反应。换到 F1CRC 和 SURGEN 后，尽管染色颜色和质地差异明显，模型依然延续了同样的判断逻辑。决定预后的不只是“有没有肿瘤”，而是整张切片中高级别浸润性形态所占的比重。

算得起，跑得快

落地还要考虑成本。DAIMS 总参数量约 1.71 亿，其中可训练参数仅约 6300 万，显存占用约 0.64 GB。在已提取图块特征的前提下，单张切片的推理时间约 30–34 毫秒，在 NVIDIA L20、RTX 6000 和 H200 等不同 GPU 上的差异不到 1 毫秒。

总的来说，这项研究直面了病理 AI“论文多、落地少”的核心症结。它没有继续追求在理想数据上把模型做得更大，而是把模态缺失、机构差异和人群差异作为一个统一的域适配问题来解决：用数据最全的公共队列训练，用资源最有限的医院也普遍具备的病理切片部署，并在不依赖目标医院随访标签的情况下完成本地化适配。

研究团队也强调，AI并非要取代分子检测，而是作为现有诊断流程的补充，在分子检测不可及或结果尚未返回时，提供额外一层风险信息。目前模型输出的是队列内的相对风险排序, 若要估计绝对风险，仍需结合目标机构的结局数据做本地校准。未来还需要在更大规模、更多样化的人群中开展前瞻性验证。对于基因检测资源有限的基层和区域医院，这类"多模态训练、单模态部署"的思路，为病理 AI 从实验室走向真实临床提供了一条可行路径。

南华病理的Chuangjie Cao 与 芝加哥大 学的Zheyi Ji 为论文共同第一作者。其他合作专家来自上海人工智能实验室、蚂蚁健康、维克森林大学医学院等。文章作者，Junhan Zhao, Xiyue Wang, 和 Sen Yang是病理AI大模型的开创性代表CHIEF的主要作者。

原文链接：https://doi.org/10.1002/advs.78019

制版人：十一

学术合作组织

（*排名不分先后）

推荐直播

转载须知

【非原创文章】本文著作权归文章作者所有，欢迎个人转发分享，未经作者的允许禁止转载，作者拥有所有法定权利，违者必究。

BioArt

Med

Plants

人才招聘