(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210954041.9 (22)申请日 2022.08.10 (71)申请人 上海理工大 学 地址 200093 上海市杨 浦区军工路516号 (72)发明人 江旻珊　朱永飞　常敏　张学典　 (74)专利代理 机构 北京东方盛凡知识产权代理 事务所(普通 合伙) 11562 专利代理师 向离山 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于端到端注意力网络的红外与可见 光图像融合方法 (57)摘要 本发明提供了一种基于端到端注意力网络 的红外与可见光图像融合方法， 包括:对红外与 可见光图像进行预处理； 构建端到端的注意力网 络； 其中， 所述注意力网络包括： 自编码网络和通 道‑空间双注意力融合层， 所述自编码网络包括 加入跳跃连接的编码器 ‑解码器； 基于所述注意 力网络对预处理后的所述红外与可见光图像进 行融合。 本发 明克服了传统融合方法中针对不同 源图像采用相同方法提取特征的重复性缺陷， 同 时缩小了其手动设计融合策略的局限性， 最终生 成了包含多个源图像特征信息的单个融合图像， 本发明可应用于遥感、 医疗诊断、 监控、 目标跟踪 等多个领域。 权利要求书3页 说明书8页 附图3页 CN 115170915 A 2022.10.11 CN 115170915 A 1.一种基于端到端注意力网络的红外与可 见光图像融合方法， 其特 征在于， 包括: 对红外图像和可 见光图像进行 预处理； 构建端到端的注意力网络； 其中， 所述注意力网络包括： 自编码网络和通道 ‑空间双注 意力融合层， 所述自编码网络包括加入跳跃 连接的编码器 ‑解码器； 基于所述注意力网络对预处 理后的所述红外图像和可 见光图像进行融合。 2.根据权利要求1所述的基于端到端注意力网络的红外与可见光图像融合方法， 其特 征在于， 对红外图像和可见光图像进行预处理包括： 将所述红外图像和可见光图像转换为 灰度图， 并进行中心裁 剪。 3.根据权利要求1所述的基于端到端注意力网络的红外与可见光图像融合方法， 其特 征在于， 所述自编码网络 中的编码器用于提取预处理后图像的多尺度深层语义特征， 输出红外 特征图和可见光特征图； 所述自编 码网络中的解码器用于根据所述红外特征图和可见光特 征图重建为 最终融合图像。 4.根据权利要求3所述的基于端到端注意力网络的红外与可见光图像融合方法， 其特 征在于， 所述编码器包括若干最大池化下采样层和若干卷积块， 基于第 一预设数设置所述编码 器的输入通道数， 基于第二预设数设置所述编码器的输出通道数， 所述编码器的每个卷积 块后均含有Batc hNorm正则化和RELU激活函数； 所述解码器包括若干上采样层和若干卷积块， 基于第 三预设数设置所述解码器的输入 通道数， 基于第四预设数设置所述解码器的输出通道数， 所述解码器的每个卷积块后均含 有BatchNorm正则化和RELU激活函数。 5.根据权利要求4所述的基于端到端注意力网络的红外与可见光图像融合方法， 其特 征在于， 对所述自编码网络加入所述跳跃 连接包括： 将所述编码器中每一个所述最大池化层的输入同所述解码器中的所述上采样层的输 出相连接， 连接 路径上加入denseblock， 在不同的连接 路径中， 使用不同数量的卷积块来构 成densebl ock， 基于第五预设数来设置所述卷积块的输出通道。 6.根据权利要求1所述的基于端到端注意力网络的红外与可见光图像融合方法， 其特 征在于， 所述 通道‑空间双注意力融合层包括： 通道 注意力模块和空间注意力模块； 在所述通道 ‑空间双注意力融合层中， 将所述红外特征图和可见光特征图在通道维度 上进行连接， 拼接后的图像分别输入至所述空间注意力模块和通道注意力模块， 获取空间 权重图和通道权重图， 将所述空间权重图和通道权重图与所述红外特征图和可见光特征图 相乘， 然后将空间和通道 注意力融合特 征相加， 获取中间融合图像。 7.根据权利要求1所述的基于端到端注意力网络的红外与可见光图像融合方法， 其特 征在于， 构建所述注意力网络还 包括： 设置损失函数； 设置所述损失函数包括： 加入SSIM结构相似度度 量函数， 引入了梯度算子， 引入L2正则 化， 设计目标 特征增强损失函数， 最终对各个损失进行加权计算。 8.根据权利要求7所述的基于端到端注意力网络的红外与可见光图像融合方法， 其特 征在于， 所述S SIM结构相似度 度量函数包括： 亮度函数、 对比度函数和结构比较函数； 所述亮度函数为：权　利　要　求　书 1/3 页 2 CN 115170915 A 2其中， μx、 μy分别表示两张图像的平均亮度， N为图片的像素点个数， Xi为像素值 大小， x、 y分别表示两张不同的图像， C1为用来防止分母为0的情况， C1＝(k1*L)2, k1取0.01， L取25 5； 所述对比度函数为： 其中， σx 和σy分别表示两张图像的标准差， C2为用来防止分母为0的情况， C2＝(k2*L)2,k2取0.03， L取 255； 所述结构比较函数为： 其中， σxy表示两张图片的协方差， C3为用来防 止分母为0的情况， C3＝C2/2； 所述SSIM结构相似度 度量函数为： 9.根据权利要求8所述的基于端到端注意力网络的红外与可见光图像融合方法， 其特 征在于， 所述梯度算子为： 其中， V为可 见光源图像， 为最终的融合图像， 为梯度算符， | |||1表示L1范数； 所述L2正则化为： 其中， X为设置的未知数， 代表可见光灰度图和红外灰度 图， ||||2表示L2范数； 所述目标 特征增强损失函数为： 其中， M表示不同尺度下的融合过程， we为不同尺度下的权重， 为第m层特征图的融 合结果， 和 分别为第m层的可见光特征层与红外特征层， wvi为可见光特征层的权重， wir为红外特 征层的权 重， F为Froben ius范数。权　利　要　求　书 2/3 页 3 CN 115170915 A 3