科学通报 | 浙江大学多学科联合综述从单模态到多模态的水稻病害智能检测研究进展

近日，浙江大学农业信息技术研究所刘羽飞课题组和农药与环境毒理研究所王蒙岑课题组联合在《科学通报》发表了题为“从单模态到多模态的水稻病害智能检测研究进展”的综述论文。该文围绕从单模态到多模态的技术演进主线，归纳了水稻病害检测常用数据模态特点及其互补特性，深入分析了单模态检测方法的局限性与多模态融合检测方法的主流模型架构及融合策略，重点讨论了多模态融合技术驱动下的水稻病害智能检测研究与应用现状，提出了因果性驱动、病害过程理解、多组学结合及开发专用大模型4个维度的前瞻性展望，为构建具有生物学可解释性的高性能水稻病害智能检测体系提供了有价值的参考。

该文章入选《科学通报》71卷24期封面。

【封面解读】封面图片的灵感源自家喻户晓的中国经典民间传说“八仙过海”。以“八仙”指代各类模态数据及智能检测技术，象征多源技术手段的协同赋能；以翻涌多变的“海浪”暗喻复杂多样的病原微生物环境；以“蓬莱仙岛”喻指生机盎然的健康稻田。八仙踏海而立、各施所长，法力交织融合(象征多模态融合)，合力铺就一条通往蓬莱仙岛的坦途，寓意多模态融合技术有望攻克水稻病害检测难题，助力国家粮食安全。

研究背景

随着全球气候变化加剧、病原菌的进化，近年来水稻病害的发生率和严重程度持续增加。及时准确地检测水稻病害对于保障粮食安全具有重要意义。得益于人工智能和传感技术的发展，水稻病害检测正在由经验判断和实验室分析向数据驱动和知识驱动的智能感知方向转变。然而，早期研究多以RGB图像和光谱数据为主，来自其他模态的信息未能得到充分整合与利用。虽然单一模态数据能够反映水稻病害的相关特征，但往往只捕捉到了特定信息，无法全面表征病害胁迫下水稻植株的响应情况，在病害早期快速检测方面存在局限。多模态融合技术通过协同利用多源异构数据，整合互补信息，可以弥补单一模态数据的不足，有望成为突破水稻病害早期检测难题的关键。

内容简介

本文总结了水稻病害检测常用数据的主要来源、优缺点及典型应用场景，并重点阐述不同模态数据的重要作用及其关联。生理生化数据灵敏度高，能探测植株内在响应；图像数据应用广，RGB图像直观反映病斑形态；热成像可辅助早期检测；光谱数据捕捉植株在不同波段的反射和吸收特性，能反演生理参数；环境数据包括温湿度等区域尺度参数，是病害发生的重要诱发因素；文本数据来源广泛，蕴含专家经验与防治策略的高层语义。这些数据在观测尺度与功能上存在互补关系，其内在关联可构建从分子响应到表型分布的响应链，对构建可解释的多模态融合模型至关重要。

本文深入分析了单模态检测方法的局限性，并重点阐述多模态融合技术的主流模型架构与融合策略。单模态检测方法中，传统机器学习依赖人工特征，泛化能力差；深度学习虽能自动提取高阶特征，但仍受单一模态盲区限制，鲁棒性不足。多模态融合通过CNN、RNN、Transformer等主流深度学习架构及其变体，采用不同的多模态数据融合策略可以有效整合互补信息。根据数据融合发生阶段的不同，多模态数据融合策略主要分为数据级融合、特征级融合和决策级融合(图1)。数据级融合直接拼接原始数据，能够最大程度保留信息；特征级融合独立提取各模态特征后交互，是兼顾特异性和关联性的主流策略；决策级融合对各模态独立决策后集成，可处理异步异构数据。除了上述基本融合策略外，混合融合通过灵活组合，可以克服单一融合策略的不足。

图1 多模态数据融合基本策略

多模态融合技术的引入为水稻病害检测带来了深刻变革，推动检测任务向综合识别、动态预警与交互式诊断3大核心任务演进(图2)。在病害状态综合识别方面，通过融合光谱、生理指标及文本描述等多源异构数据，模型克服了单一视觉特征局限，有利于实现跨越物理表型与生理机制的感知；在多模态动态预警方面，通过结合时序环境数据与作物表型观测，有望刻画病害发生和传播规律，将防控窗口期前移；在跨模态生成式诊断方面，借助生成式人工智能与多模态大模型，建立视觉信号与自然语言的映射，可实现输出病理报告、病斑定位及防治处方的交互式能力。

图2 水稻病害多模态检测核心任务

最后，本文凝练了多模态融合检测的技术瓶颈与实际需求，展望了水稻病害多模态检测的未来方向：一是从相关性驱动转向因果性驱动，引入因果推断理论剔除虚假关联，提升模型可解释性；二是从时序分析迈向病害过程理解，结合数字孪生与物理约束，揭示病害演化机制；三是从表型分析拓展至多组学结合，关联微观分子数据与宏观表型，解析病害发生本质；四是从通用大模型发展为专用大模型，构建高质量数据集，并注入病理知识等高层语义信息，打造轻量化水稻病害专用模型。

研究团队

浙江大学刘羽飞副教授和王蒙岑教授为本文的共同通讯作者，博士研究生袁法晖为本文的第一作者。该工作得到江苏省前沿技术研发计划(现代农业)项目(BF2025312)、国家自然科学基金(32525051、32572180)和国家重点研发计划(2025YFD1600100)的资助。

文章信息

袁法晖, 何勇, 王蒙岑, 等. 从单模态到多模态的水稻病害智能检测研究进展. 科学通报, 2026, 71(24): 5745-5758. DOI: 10.1360/CSB-2026-0339.

《科学通报》是中国科学院主管、中国科学院和国家自然科学基金委员会共同主办的综合性中文学术期刊，致力于快速报道自然科学各学科基础理论和应用研究的最新研究动态、消息、进展, 点评研究动态和学科发展趋势。

• 旬刊，每10天出版1期；

• 栏目：进展、评述、快讯、论文、观点、科技前沿、科学访谈、亮点述评、悦读科学等；

• 《新锐期刊分区表》 综合性大类1区TOP期刊；

• 中国科技期刊卓越行动计划领军期刊；

• 《中国科技论文与引文数据库》和《中国科学引文数据库》的源期刊，同时被EI、ESCI和Scopus等收录；

• 期刊官网：http://csb.scichina.com.

转载、投稿请留言

| 关注科学通报 | 了解科学前沿