(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210603129.6 (22)申请日 2022.05.25 (71)申请人 武汉工程大 学 地址 430000 湖北省武汉市东湖新 技术开 发区光谷一路20 6号 (72)发明人 李璇　张成　徐宇航　王杰　马雷　 朱丽娜　黄正华　程莉　 (74)专利代理 机构 武汉智嘉联合知识产权代理 事务所(普通 合伙) 42231 专利代理师 张璐 (51)Int.Cl. G06T 5/50(2006.01) G06V 10/764(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于生成对抗式双通道权重分配的图像融 合方法及装置 (57)摘要 本发明提供了一种基于生成对抗式双通道 权重分配的图像融合方法及装置， 其方法包括： 构建初始图像融合模型， 包括生成器模块和孪生 鉴别器模块， 生成器模块包括伪孪生特征提取模 块和特征融合模块； 获取红外图像样本和可见光 图像样本， 并基于伪孪生特征提取模块获得红外 特征图和可见光特征图； 基于特征融合模块生成 融合特征图； 基于孪生鉴别模块 分别获得融合特 征图与红外图像样本的第一相似度及与可见光 图像样本的第二相似度； 对初始图像融合模型进 行训练， 获得目标图像融合模型； 基于目标图像 融合模型对待融合红外图像和待融合可见光图 像进行融合， 获得目标融合图像。 本发明可获得 具有清晰目标和丰富细节纹 理的目标融合图像 。 权利要求书3页 说明书11页 附图5页 CN 114972146 A 2022.08.30 CN 114972146 A 1.一种基于生成对抗式双通道权 重分配的图像融合方法， 其特 征在于， 包括： 构建初始图像融合模型， 所述初始图像融合模型包括生成器模块和孪生鉴别器模块， 所述生成器模块包括伪孪生特 征提取模块和特 征融合模块； 获取红外图像样本和可见光图像样本， 并基于所述伪 孪生特征提取模块分别提取所述 红外图像样本和所述可 见光图像样本的特 征， 对应获得红外特 征图和可 见光特征图； 基于所述特征融合模块将所述红外特征图和所述可见光特征图进行融合， 生成融合特 征图； 基于所述孪生鉴别模块分别获得所述红外图像样本与所述融合特征图的第一相似度 以及所述可 见光图像样本与所述融合特 征图的第二相似度； 基于预设的损失函数、 所述第 一相似度、 所述第 二相似度、 所述红外图像样本和所述可 见光图像样本对所述初始图像融合模型进行训练， 获得训练完备的目标图像融合模型； 基于所述目标图像融合模型对待融合红外图像和待融合可见光图像进行融合， 获得目 标融合图像。 2.根据权利要求1所述的基于生成对抗式双通道权重分配的图像融合方法， 其特征在 于， 所述基于预设的损失函数、 所述第一相似度、 所述第二相似度、 所述红外图像样本和所 述可见光图像样本对所述初始图像融合模型进行训练， 获得训练完备的目标图像融合模 型， 包括： 判断所述第一相似度和所述第二相似度的差值是否小于预设差值； 当所述第一相似度和所述第 二相似度的差值小于所述预设差值 时， 所述初始图像 融合 模型为所述目标图像融合模型； 当所述第一相似度和所述第 二相似度的差值大于或等于所述预设差值 时， 基于预设的 损失函数、 所述红外图像样本和所述可见光图像样本对所述初始图像融合模型继续进 行训 练。 3.根据权利要求1所述的基于生成对抗式双通道权重分配的图像融合方法， 其特征在 于， 所述伪孪生特征提取模块包括红外特征提取单元和可见光特征提取单元， 所述红外特 征提取单元和所述可见光特征提取单元均包括一个第一特征提取卷积单元以及四个第二 特征提取卷积单元， 所述第一特征提取卷积单元的包括均包括卷积核为5 ×5的第一卷积层 和第一leaky  ReLU激活层， 所述第二特征提取卷积单元包括卷积核为3 ×3的第二卷积层、 批量归一 化层和第二 leaky ReLU激活层。 4.根据权利要求3所述的基于生成对抗式双通道权重分配的图像融合方法， 其特征在 于， 所述特征融合模块包括第一融合卷积单元、 第二融合卷积单元、 第三融合卷积单元、 跨 连接卷积层以及融合目标融合leakyReLU激活层， 所述第一融合卷积单元包括卷积核为1 × 1的第一融合卷积层和第一融合leakyReLU激活层， 所述第二融合卷积单元包括卷积核为3 ×3的第二融合卷积层和第二融合leakyReLU激活层， 所述第三融合卷积单元包括卷积核为 1×1的第三融合卷积层和第三融合Tanh 激活层， 所述 跨连接卷积层的卷积核为1 ×1。 5.根据权利要求4所述的基于生成对抗式双通道权重分配的图像融合方法， 其特征在 于， 所述孪生鉴别模块包括红外孪生鉴别单元和可见光孪生鉴别单元， 所述红外孪生鉴别 单元用于确定所述红外图像样本与所述融合特征图的第一相似度， 所述可见光孪生鉴别单 元用于确定所述可 见光图像样本与所述融合特 征图的第二相似度。权　利　要　求　书 1/3 页 2 CN 114972146 A 26.根据权利要求5所述的基于生成对抗式双通道权重分配的图像融合方法， 其特征在 于， 所述第一相似度为： 所述第二相似度为： 式中， S1(If,Iir)为第一相似度； S2(If,Ivi)为第二相似度； If为融合特征图； Iir为红外图 像样本； Ivi为可见光图像样本； P为红外图像样本或可见光图像样本的特征维数； 为融合 特征图的第i维特 征； 为红外图像样本的第i维特 征； 为可见光图像样本的第i维特 征； || ||2为二范数。 7.根据权利要求6所述的基于生成对抗式双通道权重分配的图像融合方法， 其特征在 于， 所述损失函数包括特 征提取损失函数， 所述特 征提取损失函数为： 式中， L(W)为特征提取损失函数； ωir为红外特征提取单元的权重系数； ωvi为可见光特 征提取单元的权重系数； 为第k个可见光图像样本和第k个红外图像样本是否 匹配的标 签； 为第k个红外特征图和第k个可见光 特征图之间的欧式距离； m为输入不同类别之间 的间距阈值。 8.根据权利要求7所述的基于生成对抗式双通道权重分配的图像融合方法， 其特征在 于， 所述损失函数包括 生成器损失函数， 所述 生成器损失函数为： LG＝β(LGir+LGvi)+LGadv 式中， LG为生成器损失函数； LGir为红外图像的内容损失； LGvi为可见光图像的内容损失； LGadv为生成器模块和孪生鉴别器模块之间的对抗损失； β 为正则化参数； H为红外图像样本 和可见光图像样本的高度； W为红外图像样本和可见光图像样本的宽度； ||  ||F为 Frobenius范数； 为梯度运算符； α1为第一正参数； α2为第二正参数； N为融合图像的总个 数； 为红外孪生鉴别单元对第n个融合图像的分类结果， 为可见光孪生 鉴权　利　要　求　书 2/3 页 3 CN 114972146 A 3