网易首页 > 网易号 > 正文 申请入驻

Nat Med|谷歌团队发布开源医学多模态基础模型MedGemma,4B参数版本即可胜任多元医学任务

0
分享至

人工智能模型为医疗领域的发展带来全新机遇,但由于医疗场景数据类型繁杂、任务谱系广泛,疾病的诊断、治疗与病情监测也依赖多种不同数据源以及不同医学专科之间信息的交叉整合,因此也产生并使用规模空前、类型多样的数据。大型多模态模型在识别复杂数据模式、生成文本和处理视觉信息方面展现出显著能力,有望重塑AI辅助医疗工作并挖掘新见解;但通用多模态模型欠缺精细的医学认知,无法稳健完成对医疗数据的可靠解读与逻辑推理。

近日,谷歌团队基于Gemma3架构开发了MedGemma,这是一套医学视觉-语言基础模型。MedGemma在图像、文本以及多个医学影像领域展现出先进的医学理解与推理能力,性能超过同等规模的生成模型,同时保持了Gemma基础模型的通用能力。对于分布外任务,MedGemma在医学影像问答任务上相较基础模型提升2.6%-10%,在胸部X光片病灶分类任务上提升15.5%-18.1%,在智能体评估任务上提升10.8%。此外,研究团队还推出了MedSigLIP,这是一种基于SigLIP的医学调优视觉编码器,可为MedGemma提供视觉理解能力,并且作为独立编码器,其性能可媲美甚至优于多款专用医学影像编码器。总之,MedGemma系列模型具备强大的医学图文处理能力,有望加速医学研究以及下游应用的开发。相关内容发表在Nature Medicine。


MedGemma基于Gemma 3构建,包含三种模型变体,可适配各类实际下游应用场景。其中,两个多模态模型MedGemma 4B与MedGemma 27B,参数量分别为40亿和270亿,支持文本、图像或图文联合输入;以及面向文本输入优化的MedGemma 27B Text。

视觉端配套MedSigLIP编码器,参数规模4亿,由SigLIP400M经过数百万组医学图像-文本对数据微调得到,覆盖放射、病理、皮肤和眼科等模态。其既是MedGemma的图像理解核心,也可以独立作为医学图像编码器使用,支持零样本图像分类与图像检索任务,并表现出与专用医学编码器相当或更优的性能。

MedGemma保留Gemma3原有通用语言能力,仅依靠这一套基础模型就能够微调适配多种医学AI研发场景。该模型全部开源,现有指标仅为基础性能,研究团队同时提供多个医学场景的微调示例,方便全球研究者针对不同临床需求继续完善模型。

图1. MedGemma模型概述

研究团队在多项医其学文本和医学影像基准测试上,从医学文本问答、医学图像分类、开放临床推理、医学视觉问答、胸部X光(CXR)报告生成、智能体代理行为六大维度对MedGemma开展性能评估,测试集包含分布内基准与分布外(OOD)基准数据集,包括MedQA、MedMCQA、PubMedQA、MMLU Med、AfriMed-QA、EHRQA。结果显示,总体而言,MedGemma在多项任务上的准确率超过或持平于规模更大的非开放模型和任务专用模型。

在医学问答任务(仅文本)中,MedGemma在多个基准测试中的表现均优于Gemma 3基础模型,并在部分任务上接近更大规模的模型。该模型在MedQA上达到86.2分,发布时为开源模型中的领先水平,仅次于6710亿参数的DeepSeek-R1(91.0),明显高于OpenBioLLM70B(78.2)。在MedHallu测试既有的“困难集”上,MedGemma 4B归一化得分为0.50,而Gemma 3 4B仅为0.09,可以显著区分正误医学答案。

医学影像解读是多模态MedGemma模型的核心亮点。医学图像零样本分类任务覆盖胸片、病理、皮肤、眼底多模态影像。结果显示,MedGemma不仅显著优于Gemma 3基础模型,还优于体量更大的API闭源模型。如在CheXpert、CXR14胸片数据集以及EyePACS眼底数据集中,MedGemma 4B的Macro F1分别达88、50.1和64.9,显著高于Gemma 3 4B。

表1. 影像学分类准确性


在SLAKE和VQA-RAD等医学视觉问答任务中,MedGemma同样优于Gemma 3,并与更大API模型表现相近。开放医学问答任务由执业医师人工评估模型输出,相较Gemma 3 4B,MedGemma4B事实错误回复占比下降约17%;该模型还可完成开放式临床推理任务,够有效提炼病例关键信息,并给出对应的临床处置建议。


图2. MedGemma 4B开放式多模态问答示例

针对CXR报告生成任务,MedGemma 4B预训练模型RadGraph F1为29.5,经强化学习微调后提升至30.3,在该指标和数据集上达到领先水平。专家人工评估显示,81%的生成报告被认为可能带来与原始报告相同或更优的临床决策,优于Med Gemini的73%。第三方ReXrank评估中,MedGemma 4B在ReXGradient和IU-Xray数据集上取得最高GREEN分数,并在ReXVQA医学视觉问答评测中位列中进入前三。

研究团队并未针对CXR解剖定位任务做专项优化,但MedGemma 27B的训练数据中包含解剖边界框标注,为此团队在Chest ImaGenome测试集上使用交并比(IoU)评估了模型性能。MedGemma 27B的IoU值为 0.16,基础Gemma 3 27B 为 0.08。


图3. CXR报告的人工评估

在AgentClinic智能体评测中,MedGemma 27B在大部分测试集上超过人类医生表现,并在两个数据集上接近更大模型;但4B模型在该智能体框架中表现不佳,提示小模型指令遵循能力仍有限。通用基准测试表明,经过医学领域适配后,MedGemma在通用基准MMLU Pro、MMMU上性能仅有小幅下降,保留通用大模型基础能力,适配医疗场景中通用交互需求。

最后,研究使用三个未参与MedGemma训练的数据集,并分别以MedGemma 4B或Gemma 3 4B作为基础模型进行微调实验。结果显示,MedGemma 4B性能优于Gemma 3 4B,尤其在仅使用10%训练数据时优势更明显。在部分分类任务中,Gemma 3会出现模型崩溃,只会预测样本占比最高的类别,而MedGemma可避免该现象。此外,研究团队还对MedGemma进行了强化学习微调。微调MedGemma 4B在CXR报告生成任务上取得 RadGraph F1 30.3,达到该指标和数据集的最先进水平;在电子病历问答任务上,微调MedGemma 27B Text也带来性能提升,在跨多条病历记录推理类问题收益最为明显。


图4. MedGemma 4B和Gemma 3 4B的微调性能

MedGemma与MedSigLIP的开源发布,为医学图像和文本任务提供了统一、可微调、可本地部署的基础模型选择,兼顾数据与模型主权、计算效率和医学多模态能力。其潜在应用包括医学图像检索、研究队列构建、临床试验患者筛选、临床报告辅助撰写等。同时研究指出,模型错误、训练数据分布偏差和真实世界安全性仍需持续验证;在部分专用任务上,专用模型仍可能更优。

参考文献:

https://www.nature.com/articles/s41591-026-04626-w

01

02

03

04

05


快点亮"在看”吧!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
彝海结盟之后,小叶丹赠刘伯承两名彝族女子,刘伯承的处置办法,既顾全兄弟情又守住红军铁纪,尽显过人智慧

彝海结盟之后,小叶丹赠刘伯承两名彝族女子,刘伯承的处置办法,既顾全兄弟情又守住红军铁纪,尽显过人智慧

磊子讲史
2026-11-18 14:51:40
很无奈!女子吐槽和老公出门总被认成母子:我只是脸有点大

很无奈!女子吐槽和老公出门总被认成母子:我只是脸有点大

西昆仑Bruce
2026-11-19 16:57:57
27.99万起!方程豹钛9正式上市,折叠方向盘真的颠覆行业

27.99万起!方程豹钛9正式上市,折叠方向盘真的颠覆行业

科技湃
2026-11-20 00:19:28
2013年,金正哲联手张成泽发动朝鲜兵变,因一细节败露,双遭反杀

2013年,金正哲联手张成泽发动朝鲜兵变,因一细节败露,双遭反杀

阿胡
2025-03-11 13:28:03
俄罗斯军事专家曾言:最强超级大国已经诞生,美国必须接受现实

俄罗斯军事专家曾言:最强超级大国已经诞生,美国必须接受现实

阿器谈史
2026-09-09 17:58:01
杨瀚森出战12分钟!开拓者124-114击败雄鹿!利拉德爆发创纪录

杨瀚森出战12分钟!开拓者124-114击败雄鹿!利拉德爆发创纪录

篮球大视野
2026-11-20 12:25:35
释永信被女徒弟爆料,凌晨4点去他房间,拿到皈依证就算师徒关系

释永信被女徒弟爆料,凌晨4点去他房间,拿到皈依证就算师徒关系

汉史趣闻
2025-07-30 09:57:38
荷兰和深圳都是1800万人口,荷兰上半年GDP4.66万亿,深圳呢?

荷兰和深圳都是1800万人口,荷兰上半年GDP4.66万亿,深圳呢?

贸易夜航
2026-11-02 10:42:25
18岁猫咪去世10年后,小主人竟发现它留下的礼物,瞬间泪崩…猫:恭喜你解锁最后一个彩蛋

18岁猫咪去世10年后,小主人竟发现它留下的礼物,瞬间泪崩…猫:恭喜你解锁最后一个彩蛋

拜见喵主子
2026-11-19 12:57:21
山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

罪案洞察者
2025-03-31 09:35:41
袁咏仪一家三口逛街,魔童只跟张智霖讲话,母子俩似乎还在冷战

袁咏仪一家三口逛街,魔童只跟张智霖讲话,母子俩似乎还在冷战

柒佰娱
2026-11-20 11:10:41
海报实锤!摩尔线程“庐山”消费级显卡确认:32GB、48GB,还是更大?

海报实锤!摩尔线程“庐山”消费级显卡确认:32GB、48GB,还是更大?

芯榜
2026-11-20 08:09:15
黄仁勋卸任后英伟达首次召开全员大会,临时CEO呼吁“让我们向前看”,承诺12月加薪安抚员工,坚持换帅

黄仁勋卸任后英伟达首次召开全员大会,临时CEO呼吁“让我们向前看”,承诺12月加薪安抚员工,坚持换帅

每日经济新闻
2026-11-19 14:25:33
联盟第一!马刺拒爆冷,文班创NBA第一纪录,卡斯尔8失误,加兰23分

联盟第一!马刺拒爆冷,文班创NBA第一纪录,卡斯尔8失误,加兰23分

老侃侃球
2026-11-20 11:37:44
中美会晤1小时,特朗普说出真心话,这句美妙的祝福,中国收下了

中美会晤1小时,特朗普说出真心话,这句美妙的祝福,中国收下了

讲者普拉斯
2026-11-19 21:44:27
房山首创奥莱2400个免费车位留住了人,半岛广场收费半年后差在哪

房山首创奥莱2400个免费车位留住了人,半岛广场收费半年后差在哪

小陆搞笑日常
2026-11-20 10:31:57
金价下跌丈夫主动给妻子补三金 妻子惊喜过后表示不打算要了

金价下跌丈夫主动给妻子补三金 妻子惊喜过后表示不打算要了

闪电新闻
2026-11-19 16:51:04
断层第一!梅西霸榜美职联薪资,莱万、格子空降二三,北美联赛真成巨星养老池?

断层第一!梅西霸榜美职联薪资,莱万、格子空降二三,北美联赛真成巨星养老池?

友谊第一
2026-11-20 12:19:57
闹掰了?有理想员工称“一天收宁德时代三封催债邮件”,8月从宁德前五大客户中消失

闹掰了?有理想员工称“一天收宁德时代三封催债邮件”,8月从宁德前五大客户中消失

红星新闻
2026-11-19 14:51:15
终于知道为什么很多人不愿买“主卧带卫”的房子了!

终于知道为什么很多人不愿买“主卧带卫”的房子了!

夜深爱杂谈
2026-10-04 20:58:44
2026-11-20 13:52:49
测序中国 incentive-icons
测序中国
基因行业领航新媒体
457文章数 20关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

袁茵却用事实证明 活得并不差!

财经要闻

Anthropic敲钟 美股跳水:AI狂欢结束?

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

家居
本地
游戏
公开课
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

《GTA6》广告遭网友解读 疑似调侃动保团体与漫威

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

“华盛顿”号航空母舰离开中东地区

无障碍浏览 进入关怀版