(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211015165.7 (22)申请日 2022.08.23 (71)申请人 河南讯飞人工智能科技有限公司 地址 450002 河南省郑州市金 水区宝瑞路 115号河南省信息安全产业 示范园4号 (72)发明人 闫润强　段素霞　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 吕伟盼 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) (54)发明名称 病虫害识别方法、 装置、 电子设备和存储介 质 (57)摘要 本发明提供一种病虫害识别方法、 装置、 电 子设备和存储介质， 其中方法包括： 确定待识别 的病虫害图像， 以及病虫害图像对应的病虫害环 境数据， 病虫害环境数据包括种植制度数据、 种 植区域数据、 地理气候数据、 土壤类型数据、 土壤 质地数据中的至少一种； 基于病虫害图像的图像 特征和病虫害环境数据的环境特征之间的相关 性， 对图像特征和环境特征进行融合， 并基于融 合所得的病虫害特征进行病虫害识别， 得到病虫 害识别结果， 克服了传统方案中基于单一的图像 特征进行病虫害识别 时， 忽略了环境因素， 以致 病虫害识别易受环境影 响的缺陷， 利用不同模态 的数据所反映的不同层面和不同角度的病虫害 信息， 能够在极大程度上提升病虫害识别精确度 和准确率。 权利要求书2页 说明书16页 附图3页 CN 115376008 A 2022.11.22 CN 115376008 A 1.一种病虫害识别方法， 其特 征在于， 包括： 确定待识别的病虫害图像， 以及所述病虫害图像对应的病虫害环境数据， 所述病虫害 环境数据包括种植制度数据、 种植区域数据、 地理气候数据、 土壤类型数据、 土壤质地数据 中的至少一种； 基于所述病虫害图像的图像特征和所述病虫害环境数据的环境特征之间的相关性， 对 所述图像特征和所述环境特征进行融合， 并基于融合所得 的病虫害特征进行病虫害识别， 得到病虫害识别结果。 2.根据权利要求1所述的病虫害识别方法， 其特征在于， 所述基于所述病虫害图像的图 像特征和所述病虫害环境数据的环境特征之间的相关性， 对所述图像特征和所述环境特征 进行融合， 包括： 确定所述病虫害环境数据中各类数据的环境特 征之间的相关性； 基于所述病虫害环境数据中各类数据的环境特征之间的相关性， 以及所述病虫害图像 的图像特征和所述病虫害环境数据的环境特征之间的相关性， 对所述图像特征和所述环境 特征进行融合。 3.根据权利要求2所述的病虫害识别方法， 其特征在于， 所述基于所述病虫害环境数据 中各类数据的环境特征之 间的相关性， 以及所述病虫害图像的图像特征和所述病虫害环境 数据的环境特 征之间的相关性， 对所述图像特 征和所述环境特 征进行融合， 包括： 基于所述病虫害环境数据中各类数据的环境特征之间的相关性， 确定所述病虫害环境 数据中各类数据的环境特 征的权重， 并基于所述权 重确定目标环境特 征； 基于所述病虫害图像的图像特征和所述目标环境特征之间的相关性， 对所述图像特征 和所述环境特 征进行融合。 4.根据权利要求1至3中任一项所述的病虫害识别方法， 其特征在于， 所述基于所述病 虫害图像的图像特征和所述病虫害环境数据的环 境特征之 间的相关性， 对 所述图像特征和 所述环境特征进行融合， 并基于融合所得的病 虫害特征进行病 虫害识别， 得到病 虫害识别 结果， 包括： 基于病虫害识别模型， 对所述病虫害图像和所述病虫害环境数据分别进行特征提取， 得到所述病 虫害图像的图像特征， 以及所述病 虫害环境数据的环境特征， 基于所述图像特 征和所述环境特征之间的相关性， 对所述图像特征和所述环境特征进行融合， 并基于融合 所得的病虫害特 征进行病虫害识别， 得到病虫害识别结果； 所述病虫害识别模型基于标准病虫害特征与样本病虫害特征之间的特征相似度训练 得到， 所述标准病 虫害特征基于标准病 虫害图像和标准病 虫害环境数据确定， 所述样本病 虫害特征基于样本病虫害图像和样本病虫害环境数据确定 。 5.根据权利要求4所述的病虫害识别方法， 其特征在于， 所述病虫害识别模型基于如下 步骤训练： 基于初始病虫害识别模型、 所述样本病虫害图像和所述样本病虫害环境数据， 以及所 述标准病虫害图像和所述标准病虫害环境数据， 确定所述标准病虫害 特征和所述样本病虫 害特征； 从所述样本病虫害图像和所述样本病虫害环境数据中， 选取样本病虫害识别结果与标 准病虫害识别结果相同的样本病虫害图像和样本病虫害环境数据， 作为 正样本；权　利　要　求　书 1/2 页 2 CN 115376008 A 2从所述样本病虫害图像和所述样本病虫害环境数据中， 选取所述样本病虫害识别结果 与所述标准病虫害识别结果 不同的样本病虫害图像和样本病虫害环境数据， 作为负 样本； 基于所述标准病虫害特征与 所述正样本的样本病虫害特征之间的特征相似度， 以及所 述标准病虫害 特征与所述负样本的样本病虫害 特征之间的特征相似度， 对 所述初始病虫害 识别模型进行参数迭代， 得到病虫害识别模型。 6.根据权利要求1至3中任一项所述的病虫害识别方法， 其特征在于， 所述基于融合所 得的病虫害特 征进行病虫害识别， 得到病虫害识别结果， 之后还 包括： 基于重排序规则， 对所述病虫害识别结果进行重排序； 所述重排序规则基于所述病虫害图像和所述病虫害环境数据对应作物的生长规律、 种 植区域、 地理气候中的至少一种确定 。 7.根据权利要求4所述的病虫害识别方法， 其特征在于， 所述基于病虫害识别模型， 对 所述病虫害图像和所述病虫害环境数据分别进行特征提取， 得到所述病虫害图像的图像特 征， 以及所述病虫害环境数据的环境特 征， 包括： 基于病虫害识别模型中的图像特征提取网络， 对所述病虫害图像进行特征提取， 得到 所述病虫害图像的图像特 征； 基于所述病虫害识别模型中的环境特征提取网络， 对所述病虫害环境数据进行特征提 取， 得到所述病虫害环境数据的环境特 征； 所述图像特征提取网络是在残差网络和特征金字塔网络的基础上， 应用所述样本病虫 害图像训练得到的， 所述环境特征提取网络是在语言模型 的基础上， 应用所述样本病 虫害 环境数据训练得到的。 8.一种病虫害识别装置， 其特 征在于， 包括： 确定单元， 用于确定待识别的病虫害图像， 以及所述病虫害图像对应的病虫害环境数 据， 所述病虫害环境数据包括种植制度数据、 种植区域数据、 地理气候数据、 土壤类型数据、 土壤质地数据中的至少一种； 识别单元， 用于基于所述病虫害图像的图像特征和所述病虫害环境数据的环境特征之 间的相关性， 对所述图像特征和所述环境特征进行融合， 并基于融合所得的病虫害特征进 行病虫害识别， 得到病虫害识别结果。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所 述的病虫害识别方法。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处 理器执行时实现如权利要求1至7任一项所述的病虫害识别方法。权　利　要　求　书 2/2 页 3 CN 115376008 A 3