(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211004968.2 (22)申请日 2022.08.22 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 刘世光　高雪艳　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 刘子文 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06V 10/52(2022.01) G06N 3/08(2006.01) (54)发明名称 一种无监督红外图像和可见光图像的融合 方法 (57)摘要 本发明公开一种无监督红外图像和可见光 图像的融合方法， 基于图像融合模型， 图像融合 模型包括多尺度特征提取模块和特征重建模块， 具体包括： (1)将红外图像和可见光图像输入到 特征提取模块进行多尺度特征提取； 所述特征提 取模块内包括红外图像和可见光图像两条特征 提取路径， 每条路径又包括三条平行的分支； 红 外图像和可见光图像输入到各自对应的特征提 取路径； (2)将特征提取模块内两条特征提取路 径提取的特征沿通道维度进行串联， 然后输入到 特征重建模块得到融合图像； (3)所提出的模型 在损失函数的指导下不断进行优化， 最终得到理 想的融合图像 。 权利要求书2页 说明书5页 附图3页 CN 115272813 A 2022.11.01 CN 115272813 A 1.一种无监督红外图像和可见光图像的融合方法， 基于图像融合模型， 图像融合模型 包括多尺度特 征提取模块和特 征重建模块， 其特 征在于， 融合方法包括： (1)将红外图像和可见光图像输入到多尺度特征提取模块进行多尺度特征提取； 所述 多尺度特征提取模块内包括红外图像和可见光图像两条特征提取路径， 每条路径又包括三 条平行的分支； 红外图像和可 见光图像输入到各自对应的特 征提取路径； (2)将多尺度特征提取模块内两条特征提取路径提取的特征沿通道维度进行串联， 然 后输入到特 征重建模块得到融合图像； (3)使图像融合模型在损失函数的指导下不断进行优化， 最终得到理想的融合图像。 2.根据权利要求1所述一种无监督红外图像和可见光图像的融合方法， 其特征在于， 步 骤(1)中将红外图像和可见光图像输入到多尺度特征提取模块内各自对应的特征提取路 径， 将通过图像融合模型的第一层卷积获得的结果分别输入到每条特征提取路径对应的三 条平行分支以提取不同尺度的特征； 其中， 每条路径中的三条平行分支所使用的卷积核的 大小分别为1 ×1、 3×3和5×5； 将每条路径的三条平行分支的输出沿通道维度串联并输入 到1×1卷积层A； 1 ×1卷积层A的输出和图像融合模 型的第一层卷积串 联后输入到一个3 ×3 的卷积层。 3.根据权利要求1所述一种无监督红外图像和可见光图像的融合方法， 其特征在于， 特 征重建模块由两个平行分支组成， 两个 分支采用的卷积核 大小分别为 1×1、 3×3， 以最大程 度地利用所提取到的信息 。 4.根据权利要求1所述一种无监督红外图像和可见光图像的融合方法， 其特征在于， 步 骤(3)中损失函数LT由内容损失Lcon和结构相似性损失Lssim组成， 定义如下： LT＝Lcon+α Lssim， 其中， α 是平衡内容损失和结构相似性损失的权 重参数， α ＝10 0； 结构相似性损失用于测量两幅图像之间的相似性， 定义如下： 其中， Iir， Ivi， 和If分别表示红外图像、 可见光图像和融合图像； 结构相似性指标SSIM的 计算公式如下： 其中， I1和I2分别表示要计算的两幅图像， μ表示平均值， σ 表示标准偏差， C1和C2是稳定 系数， 是I1和I2之间的互相关； 内容损失Lcon包括梯度损失Lgra和强度损失Lint部分， 定义如下： Lcon＝Lint+β Lgra 其中， β 是一个权 重参数， β 设置为10； 梯度损失Lgra和强度损失Lint的定义如下： 权　利　要　求　书 1/2 页 2 CN 115272813 A 2H和W分别表示输入图像的宽和高； ‖ ·‖F表示矩阵F ‑范数， 表示梯度操作； η、 ξ、 η1和 ξ1 是权重参数， 分别被设置为1， 0.5， 5和3 。 5.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现权利要求1至4任一项所述无监督红 外图像和可 见光图像的融合方法的步骤。 6.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该计算机程序被处 理器执行时实现权利要求1至4任一项所述无监督红外图像和可见光图像的融合方法的步 骤。权　利　要　求　书 2/2 页 3 CN 115272813 A 3