(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211098596.4 (22)申请日 2022.09.09 (71)申请人 山东省凯麟环保 设备股份有限公司 地址 274900 山东省菏泽市巨野县北环路 与堌堆路交汇处东 南角 (72)发明人 徐龙生　庞世玺　孙振行　杨纪冲　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 闫圣娟 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/26(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多级 特征融合的多模态图像 分割方法、 系统及器件 (57)摘要 本发明涉及图像处理技术领域， 基于多级特 征融合的多模态图像分割方法、 系统及器件， 考 虑到图像中物体的时序关系， 对于前后图像之间 联系进行挖掘， 引入多尺度融合模块， 将关键帧 视觉信息中与前后视觉信息中深度不变的区域 进行融合， 可以更为有效地获取前后图像之间联 系。 考虑到深度图像对光照等因素具有一定的鲁 棒性， 融合深度图像和视觉图像进行信道融合， 增强深度信息与视觉信息的互补性， 提升特征的 表达能力和区分性， 进而得到更精准的分割图 像。 权利要求书2页 说明书7页 附图1页 CN 115171030 A 2022.10.11 CN 115171030 A 1.基于多 级特征融合的多模态图像分割方法， 其特 征在于， 包括如下步骤： 获取待处 理的关键帧图像以及关键帧图像前后帧视 觉图像； 将关键帧与其前后帧的视觉 图像做视差 图， 通过视差 图对比提取深度不变的区域， 在 关键帧与其前后帧的相应视觉区域进 行多尺度融合， 根据相似度进行加权得到处理后的关 键帧视觉图像； 对关键帧的深度图像以及多尺度融合后的关键帧视 觉图像， 分别进行 特征提取； 在每一级提取特征后， 按照深度图像特征对应信道的影响因子大小， 将深度图像模态 中相应的信道与其对应视 觉图像模态中的信道进行加权融合， 得到融合后的特 征； 将融合后的特 征， 进行上采样解码后得到分割后的图像。 2.如权利要求1所述的基于多级特征融合的多模态图像分割方法， 其特征在于： 还包括 预处理的步骤， 将获取的图像转换为图像分割模型需要的统一的尺寸大小； 图像分割模型包括依次连接的多尺度融合模块、 特征提取网络、 信道融合模块和上采 样解码模块； 特征提取网络用于图像的低层特征至高层特征的提取， 每一级特征提取网络后连接设 置一个信道融合模块。 3.如权利要求2所述的基于多级特征融合的多模态图像分割方法， 其特征在于： 还包括 对图像分割模型进行训练的步骤， 如下： 数据集获取并预处理， 所述数据集按照设定的帧率抽取关键帧， 并且提取关键帧的前 后帧的视 觉图像； 按照图像对将关键帧的视觉图像、 深度图像和关键帧前后 一帧的视觉图像输入图像分 割模型； 将视觉图像进行多尺度融合， 将关键帧与其前后帧的视觉 图像做视差 图， 通过视差 图 对比提取深度不变的区域， 对于提取的区域在关键帧与其前后帧的相应视觉区域建立联 系， 并根据相似性进行融合； 将多尺度融合后的视觉图像和深度图像成对输入至特征提取网络， 进行特征信 息的提 取； 在每一级提取 特征后， 按照特 征对应信道的影响因子进行多信道特 征的融合； 将融合后的特 征， 进行上采样解码后得到分割后的图像； 计算图像分割损失， 重复进行反向传播训练， 直至达到设定的训练轮次， 根据损失函数 最小或者验证集效果 最好对应的模型， 为训练好的图像分割模型。 4.如权利要求3所述的基于多级特征融合的多模态图像分割方法， 其特征在于， 图像分 割损失为： 图像分割模型 预测结果和真实分割图像之间的差距， 采用逐像素交叉熵损失。 5.如权利要求1所述的基于多级特征融合的多模态图像分割方法， 其特征在于： 多尺度 融合的方法， 包括如下步骤： 将视觉图像进行多尺度融合， 将关键帧与其前后帧的视觉 图像做视差 图， 通过视差 图 对比提取深度不变的区域； 针对提取的区域， 在关键帧与其前后帧的相应视觉区域建立联系， 根据相似度进行加 权融合， 得到处 理后的关键帧视 觉图像。 6.如权利要求1所述的基于多级特征融合的多模态图像分割方法， 其特征在于： 通过视权　利　要　求　书 1/2 页 2 CN 115171030 A 2差图对比提取深度不变的区域， 具体为对两个视差图进行对比， 提取视差变换不超过设定 阈值的区域作为选 定区域。 7.如权利要求1所述的基于多级特征融合的多模态图像分割方法， 其特征在于： 将深度 图像模态中相应的信道与其对应视觉图像模态中的信道进行融合， 具体为： 当影响因子不 高于设定阈值， 对影响因子进行仿射变换得到对应的信道值； 当影响因子高于设定阈值进 行模态间的信道融合， 将深度图像模态中的信道与视觉图像模态的相应信道， 按照两个模 态影响因子的值进行加权融合得到对应的信道值。 8.基于多 级特征融合的多模态图像分割 系统， 其特 征在于， 包括： 图像获取模块： 被配置为用于获取待处理 的关键帧图像以及 关键帧图像前后帧视觉图 像； 多尺度融合模块： 被配置为用于将关键帧与其前后帧的视觉 图像做视差 图， 通过视差 图对比提取深度不变的区域， 在关键 帧与其前后帧的相应视觉区域进行多尺度融合， 根据 相似度进行加权得到处 理后的关键帧视 觉图像； 特征提取网络： 被配置为用于对关键帧的深度图像以及多尺度融合后的关键帧视觉图 像， 分别进行 特征提取； 信道融合模块： 被配置为用于在每一级提取特征后， 按照深度图像特征对应信道的影 响因子大小， 将深度图像模态中相应的信道与其对应视觉图像模态中的信道进行加权融 合， 得到融合后的特 征； 上采样解码模块： 被配置为用于将融合后的特征， 进行上采样解码后得到分割后的图 像。 9.一种电子设备， 其特征在于， 包括存储器和处理器以及存储在存储器上并在处理器 上运行的计算机指 令， 所述计算机指 令被处理器运行时， 完成权利要求 1‑7任一项方法所述 的步骤。 10.一种计算机可读存储介质， 其特征在于， 用于存储计算机指令， 所述计算机指令被 处理器执行时， 完成权利要求1 ‑7任一项方法所述的步骤。权　利　要　求　书 2/2 页 3 CN 115171030 A 3