网易首页 > 网易号 > 正文 申请入驻

Nat Med|谷歌团队发布开源医学多模态基础模型MedGemma,4B参数版本即可胜任多元医学任务

0
分享至

人工智能模型为医疗领域的发展带来全新机遇,但由于医疗场景数据类型繁杂、任务谱系广泛,疾病的诊断、治疗与病情监测也依赖多种不同数据源以及不同医学专科之间信息的交叉整合,因此也产生并使用规模空前、类型多样的数据。大型多模态模型在识别复杂数据模式、生成文本和处理视觉信息方面展现出显著能力,有望重塑AI辅助医疗工作并挖掘新见解;但通用多模态模型欠缺精细的医学认知,无法稳健完成对医疗数据的可靠解读与逻辑推理。

近日,谷歌团队基于Gemma3架构开发了MedGemma,这是一套医学视觉-语言基础模型。MedGemma在图像、文本以及多个医学影像领域展现出先进的医学理解与推理能力,性能超过同等规模的生成模型,同时保持了Gemma基础模型的通用能力。对于分布外任务,MedGemma在医学影像问答任务上相较基础模型提升2.6%-10%,在胸部X光片病灶分类任务上提升15.5%-18.1%,在智能体评估任务上提升10.8%。此外,研究团队还推出了MedSigLIP,这是一种基于SigLIP的医学调优视觉编码器,可为MedGemma提供视觉理解能力,并且作为独立编码器,其性能可媲美甚至优于多款专用医学影像编码器。总之,MedGemma系列模型具备强大的医学图文处理能力,有望加速医学研究以及下游应用的开发。相关内容发表在Nature Medicine。


MedGemma基于Gemma 3构建,包含三种模型变体,可适配各类实际下游应用场景。其中,两个多模态模型MedGemma 4B与MedGemma 27B,参数量分别为40亿和270亿,支持文本、图像或图文联合输入;以及面向文本输入优化的MedGemma 27B Text。

视觉端配套MedSigLIP编码器,参数规模4亿,由SigLIP400M经过数百万组医学图像-文本对数据微调得到,覆盖放射、病理、皮肤和眼科等模态。其既是MedGemma的图像理解核心,也可以独立作为医学图像编码器使用,支持零样本图像分类与图像检索任务,并表现出与专用医学编码器相当或更优的性能。

MedGemma保留Gemma3原有通用语言能力,仅依靠这一套基础模型就能够微调适配多种医学AI研发场景。该模型全部开源,现有指标仅为基础性能,研究团队同时提供多个医学场景的微调示例,方便全球研究者针对不同临床需求继续完善模型。

图1. MedGemma模型概述

研究团队在多项医其学文本和医学影像基准测试上,从医学文本问答、医学图像分类、开放临床推理、医学视觉问答、胸部X光(CXR)报告生成、智能体代理行为六大维度对MedGemma开展性能评估,测试集包含分布内基准与分布外(OOD)基准数据集,包括MedQA、MedMCQA、PubMedQA、MMLU Med、AfriMed-QA、EHRQA。结果显示,总体而言,MedGemma在多项任务上的准确率超过或持平于规模更大的非开放模型和任务专用模型。

在医学问答任务(仅文本)中,MedGemma在多个基准测试中的表现均优于Gemma 3基础模型,并在部分任务上接近更大规模的模型。该模型在MedQA上达到86.2分,发布时为开源模型中的领先水平,仅次于6710亿参数的DeepSeek-R1(91.0),明显高于OpenBioLLM70B(78.2)。在MedHallu测试既有的“困难集”上,MedGemma 4B归一化得分为0.50,而Gemma 3 4B仅为0.09,可以显著区分正误医学答案。

医学影像解读是多模态MedGemma模型的核心亮点。医学图像零样本分类任务覆盖胸片、病理、皮肤、眼底多模态影像。结果显示,MedGemma不仅显著优于Gemma 3基础模型,还优于体量更大的API闭源模型。如在CheXpert、CXR14胸片数据集以及EyePACS眼底数据集中,MedGemma 4B的Macro F1分别达88、50.1和64.9,显著高于Gemma 3 4B。

表1. 影像学分类准确性


在SLAKE和VQA-RAD等医学视觉问答任务中,MedGemma同样优于Gemma 3,并与更大API模型表现相近。开放医学问答任务由执业医师人工评估模型输出,相较Gemma 3 4B,MedGemma4B事实错误回复占比下降约17%;该模型还可完成开放式临床推理任务,够有效提炼病例关键信息,并给出对应的临床处置建议。


图2. MedGemma 4B开放式多模态问答示例

针对CXR报告生成任务,MedGemma 4B预训练模型RadGraph F1为29.5,经强化学习微调后提升至30.3,在该指标和数据集上达到领先水平。专家人工评估显示,81%的生成报告被认为可能带来与原始报告相同或更优的临床决策,优于Med Gemini的73%。第三方ReXrank评估中,MedGemma 4B在ReXGradient和IU-Xray数据集上取得最高GREEN分数,并在ReXVQA医学视觉问答评测中位列中进入前三。

研究团队并未针对CXR解剖定位任务做专项优化,但MedGemma 27B的训练数据中包含解剖边界框标注,为此团队在Chest ImaGenome测试集上使用交并比(IoU)评估了模型性能。MedGemma 27B的IoU值为 0.16,基础Gemma 3 27B 为 0.08。


图3. CXR报告的人工评估

在AgentClinic智能体评测中,MedGemma 27B在大部分测试集上超过人类医生表现,并在两个数据集上接近更大模型;但4B模型在该智能体框架中表现不佳,提示小模型指令遵循能力仍有限。通用基准测试表明,经过医学领域适配后,MedGemma在通用基准MMLU Pro、MMMU上性能仅有小幅下降,保留通用大模型基础能力,适配医疗场景中通用交互需求。

最后,研究使用三个未参与MedGemma训练的数据集,并分别以MedGemma 4B或Gemma 3 4B作为基础模型进行微调实验。结果显示,MedGemma 4B性能优于Gemma 3 4B,尤其在仅使用10%训练数据时优势更明显。在部分分类任务中,Gemma 3会出现模型崩溃,只会预测样本占比最高的类别,而MedGemma可避免该现象。此外,研究团队还对MedGemma进行了强化学习微调。微调MedGemma 4B在CXR报告生成任务上取得 RadGraph F1 30.3,达到该指标和数据集的最先进水平;在电子病历问答任务上,微调MedGemma 27B Text也带来性能提升,在跨多条病历记录推理类问题收益最为明显。


图4. MedGemma 4B和Gemma 3 4B的微调性能

MedGemma与MedSigLIP的开源发布,为医学图像和文本任务提供了统一、可微调、可本地部署的基础模型选择,兼顾数据与模型主权、计算效率和医学多模态能力。其潜在应用包括医学图像检索、研究队列构建、临床试验患者筛选、临床报告辅助撰写等。同时研究指出,模型错误、训练数据分布偏差和真实世界安全性仍需持续验证;在部分专用任务上,专用模型仍可能更优。

参考文献:

https://www.nature.com/articles/s41591-026-04626-w

01

02

03

04

05


快点亮"在看”吧!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
真没想到,APEC峰会大佬云集,爆火的竟不是雷军,而是一双旧白鞋

真没想到,APEC峰会大佬云集,爆火的竟不是雷军,而是一双旧白鞋

晓踏就是我
2026-11-19 11:54:24
AZEC峰会落幕,高市发出特别邀约,请11国把自家石油放进日本罐里

AZEC峰会落幕,高市发出特别邀约,请11国把自家石油放进日本罐里

影孖看世界
2026-11-19 23:26:23
炸裂!美股半导体集体大爆发!存储、芯片全线大涨,A股有希望了

炸裂!美股半导体集体大爆发!存储、芯片全线大涨,A股有希望了

风风顺
2026-11-20 03:00:04
《GTA6》性感Mandy火了 网友质疑为何不让她当女主

《GTA6》性感Mandy火了 网友质疑为何不让她当女主

3DM游戏
2026-11-19 22:48:25
多国首脑在深圳开启逛街模式,每个人的路线选择都很有意思

多国首脑在深圳开启逛街模式,每个人的路线选择都很有意思

麓谷隐士
2026-11-19 22:19:16
特朗普女婿库什纳:俄罗斯能够接受乌克兰获得安全保障,也表达了不再爆发新冲突的意愿,普京:克里米亚大桥遭袭后,不再讨论海上停火

特朗普女婿库什纳:俄罗斯能够接受乌克兰获得安全保障,也表达了不再爆发新冲突的意愿,普京:克里米亚大桥遭袭后,不再讨论海上停火

政知新媒体
2026-11-20 09:29:43
杨瀚森2分1板1助,开拓者送雄鹿12连败!瀚森表现值得夸赞

杨瀚森2分1板1助,开拓者送雄鹿12连败!瀚森表现值得夸赞

老梁体育漫谈
2026-11-20 11:35:52
难怪不澄清!有共同的朋友,第一次见面就入了眼,动了心

难怪不澄清!有共同的朋友,第一次见面就入了眼,动了心

小椰的奶奶
2026-11-20 09:11:16
一边争冠一边争状元!火箭2027年状元签概率18.8%,联盟第1!

一边争冠一边争状元!火箭2027年状元签概率18.8%,联盟第1!

贵圈真乱
2026-11-20 12:48:02
签了!中国和美国真签了!这次不是关税,也不是芯片,而是天然气

签了!中国和美国真签了!这次不是关税,也不是芯片,而是天然气

大卫聊科技
2026-09-20 13:27:56
拥有核武器的9个国家中,最穷的巴基斯坦, 是如何获得核武器的?

拥有核武器的9个国家中,最穷的巴基斯坦, 是如何获得核武器的?

文史达观
2025-05-03 06:45:05
开始动真格!追溯30年倒查来了,这4类人要当心!

开始动真格!追溯30年倒查来了,这4类人要当心!

细说职场
2026-11-19 16:28:20
越来越多的迹象表明:内塔尼亚胡间接上成为了中国的“大恩人”?

越来越多的迹象表明:内塔尼亚胡间接上成为了中国的“大恩人”?

无情有思可
2026-11-19 08:11:29
横店迎来三十年最为惨烈的一次断臂求生!130多座摄影棚,合计50万平方米,全部免租金向剧组开放

横店迎来三十年最为惨烈的一次断臂求生!130多座摄影棚,合计50万平方米,全部免租金向剧组开放

扶苏聊历史
2026-10-28 15:47:11
西路军失败是“借刀杀人”?长文深入分析西路军失败的真正原因

西路军失败是“借刀杀人”?长文深入分析西路军失败的真正原因

阿胡
2025-02-13 12:47:19
李在明得偿所愿,深圳收获实利,这份成果足够给韩国人一个交代了

李在明得偿所愿,深圳收获实利,这份成果足够给韩国人一个交代了

军情观察家
2026-11-20 12:10:44
人民日报点名曹德旺,释放2大信号,转移资产跑路传闻早有真相

人民日报点名曹德旺,释放2大信号,转移资产跑路传闻早有真相

爱看剧的阿峰
2026-11-20 10:41:29
美国人评论亚洲街道:日本干净,印度脏乱,而中国只用4个字形容

美国人评论亚洲街道:日本干净,印度脏乱,而中国只用4个字形容

傲傲讲历史
2026-11-07 09:18:49
晒晒我从山姆买的11个“厨房好物”,每一件都“夯爆了”,值得买

晒晒我从山姆买的11个“厨房好物”,每一件都“夯爆了”,值得买

三农老历
2026-11-20 07:24:48
六旬男子约按摩女发生关系,十分满意付了2000元,谁知女子扭头就把他告了

六旬男子约按摩女发生关系,十分满意付了2000元,谁知女子扭头就把他告了

江山挥笔
2026-11-18 14:13:58
2026-11-20 13:36:49
测序中国 incentive-icons
测序中国
基因行业领航新媒体
457文章数 20关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

袁茵却用事实证明 活得并不差!

财经要闻

Anthropic敲钟 美股跳水:AI狂欢结束?

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

房产
本地
教育
健康
公开课

房产要闻

2.5亿!丁村侨中,新动作来了!

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

教育要闻

你认识boat,但未必认识“划船”的boat

医生眼里"很伤腰"的椅子,很多人天天坐

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版