(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210755253.4 (22)申请日 2022.06.30 (65)同一申请的已公布的文献号 申请公布号 CN 114821206 A (43)申请公布日 2022.07.29 (73)专利权人 山东建筑大学 地址 250100 山东省济南市历城区临港开 发区凤鸣路 (72)发明人 袭肖明　王可崧　聂秀山　尹义龙　 张光　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 于凤洋 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/762(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 10946 0707 A,2019.0 3.12CN 112836734 A,2021.0 5.25 CN 112215262 A,2021.01.12 CN 106504255 A,2017.0 3.15 WO 202102 2752 A1,2021.02.1 1 杨霄等.基 于层次化双重注意力网络的乳腺 多模态图像分类. 《山 东大学学报 （工学版） 》 .2022,第52卷(第3期), Yanling Wang等.ClusterSCL: Cluster- Aware Supervised Co ntrastive Learn ing on Graphs. 《I n Proceedings of the AC M Web》 .2022, 曾华等.非均匀类 簇密度聚类的多粒度自学 习算法. 《系统工程与电子技 术》 .2010,(第08 期), Mathilde Caro n等.Unsupervised Learning of Visual F eatures by Contrasting Cluster As signments. 《arXiv》 .2021, Zhen Li等.CLMLF:A Co ntrastive Learning and Multi-Layer Fusi on Method for Multimodal Sentiment Detecti on. 《arXiv》 .202 2, 审查员 王楠 (54)发明名称 基于对抗互补特征的多模态图像融合分类 方法与系统 (57)摘要 本公开提供了一种基于对抗互补特征的多 模态图像融合分类方法与系统， 属于图像分类技 术领域， 包括从多个模态中选取待融合的模态， 先低层特征提取获取图像关键特征信息向量， 判 断是否可以进行第一次信道融合 以及第一次相 似性计算； 再进行高层特征提取， 并判断是否可 以进行第二次信道融合和第二次相似性计算； 将 从低层和 高层特征提取的特征图进行聚类和对 比学习， 对互补信息进行有效挖掘和融合， 增强特征之间的互补性， 提高图像融合精度。 权利要求书2页 说明书6页 附图2页 CN 114821206 B 2022.09.13 CN 114821206 B 1.基于对抗互补特 征的多模态图像融合分类方法， 其特 征在于， 训练步骤 包括： 采集具有多模态的图像数据并进行预处理， 从多个模态中选取待融合的模态， 将每个 模态中的图像数据按组输入至神经网络模型中； 先进行低层特征提取来获取图像关键特征信 息向量， 然后判断是否可以进行第 一次信 道融合， 同时， 将获取的图像关键特征向量进行第一次相似性计算； 在低层特征提取之后， 判读是否可以进行第一次信道融合， 具体为： 利用bn层设计影响因子， 设定判断的阈值， 设 计影响因子计算通道对最终预测的影响， 当影响因子高于设定的阈值， 在不同模态的子网 络之间将该信道按照比例和其 他模态融合； 再将从低层特征提取出来的特征进行高层特征提取， 再一 次提取图像关键特征信 息向 量， 判断是否可以进行第二次信道融合， 同时将获取 的高层图像关键特征信息 向量进行第 二次相似性计算； 分别将经过低层和高层特征提取的特征图进行聚类和对比学习， 并计算分类损 失， 最 后进行图像的预测， 得到对应的类别得分， 类别得分最大值所对应的类别作为预测结果； 将 每batch_size中的原始图像， 通过浅层和高层特征提取和信道 融合得到特征， 按照类别进 行粗粒度密度聚类， 在一个类别中， 划分出粒度相对较粗的类别， 将这些类别进行密度聚 类， 并将其存储到典型队列中， 随着训练过程不断更新典型队列； 原始图像在经过浅层特 征、 高层特征提取和两次信道融合模块后， 得到的特征图记为 ， ， 将 ， 和典型队列中的特 征分别串联， 计算分类损失。 2.如权利要求1所述的基于对抗互补特征的多模态图像融合分类方法， 其特征在于， 所 述图像数据的预处理过程为： 对采集的数据集中的图像数据进行标记， 去除与分类任务不 相关的外部信息， 对图像待分类物品以及场景进 行标记， 将标记区域提取出来， 对多模态数 据集中一个场景或者同一物品的图像组进 行相同的数据增强， 不同图像组进 行不同的数据 增强， 然后将增强后的图像尺度变换为统一大小。 3.如权利要求2所述的基于对抗互补特征的多模态图像融合分类方法， 其特征在于， 所 述数据增强包括随机 裁剪、 水平翻转、 垂直翻转、 随机 旋转、 随机多裁 剪、 增加高斯噪声。 4.如权利要求1所述的基于对抗互补特征的多模态图像融合分类方法， 其特征在于， 随 机选取一个批次N张图像， 任取M个模态， 输入N*M张图像； 根据图像输入批次 以及选取模态 的多少， 将图像组同时加载并输入到神经网络中进行低层特征提取， 经过卷积后提取图像 的关键特 征信息向量， 得到图像组的特 征图组。 5.如权利要求1所述的基于对抗互补特征的多模态图像融合分类方法， 其特征在于， 所 述影响因子为 ， 其中， 表示仿射变换后的特征； 表示原特征； 表示原特征的方差； 和 是均值和误差， 是一个小常数避免零除， 和 分别是两 个模态的训 练网络， l是模型中的第1层特征图； m代表第m个模态， c代表第c个类别； 用于衡量信道权　利　要　求　书 1/2 页 2 CN 114821206 B 2对模型的影响程度， 若影响程度高于阈值进行模态间的信道融合， 获取融合后的特征； 用于衡量偏置 。 6.如权利要求1所述的基于对抗互补特征的多模态图像融合分类方法， 其特征在于， 再 将在低层特征提取中出来的特征加载输入到另一卷积神经网络中进行卷积运算进行高层 特征提取， 提取图像的关键特征信息向量， 得到图像组的特征图组， 再次判断是否能够进 行 第二次信道融合， 若能， 则进行第二次信道融合， 得到最终融合后的特 征图组。 7.如权利要求1所述的基于对抗互补特征的多模态图像融合分类方法， 其特征在于， 同 时在进行低层特征和高层特征提取后， 将一个场景或者物品的不同模态在浅层特征和高层 特征提取获得 的特征图组进行一次模态特征对比， 用分类器计算模态之间的相似度， 低层 特征提取后的特 征为不相似特 征， 高层特 征提取后的特 征为相似特 征。 8.基于对抗互补特 征的多模态图像融合分类系统， 其特 征在于， 包括： 数据采集与处 理模块， 用于采集具有 多模态的图像数据并进行 预处理； 特征提取模块， 用于从多个模态中选取待融合的模态， 将每个模态中的图像数据按组 输入至神经网络模型中， 进行低层特征提取来获取图像关键特征信息 向量； 以及将在低层 特征提取中出来的特征加载输入到另一卷积神经网络中进 行卷积运算进行高层特征提取， 提取图像的关键特 征信息向量， 得到图像组的特 征图组； 信道融合模块， 用于判断是否能够进行第一 次信道融合和第 二次信道融合， 若能， 则利 用bn层设计影响因子， 设定判断的阈值， 设计影响因子计算通道对最 终预测的影响， 当影响 因子高于设定的阈值， 在不同模态的子网络之间将该信道按照比例和其 他模态融合； 模态相似计算模块， 用于在进行低层特征和高层特征提取后， 将一个场景或者物品的 不同模态在浅层特 征和高层特 征提取获得的特 征图组进行一次特 征对比， 并计算相似度； 计算与预测模块， 用于计算均 方差损失以及输出相似度得分最大值所在的类别作为图 像的预测结果； 将每batch_size中的原始图像， 通过浅层和高层特征提取和信道融合得到 特征， 按照类别进行粗粒度密度聚类， 在一个类别中， 划分出粒度相对较粗的类别， 将这些 类别进行密度聚类， 并将其存储到典型队列中， 随着训练过程不断更新 典型队列； 原始图像 在经过浅层特征、 高层特征提取和两次信道融合模块后， 得到的特征图记为 ， ， 将 ， 和典型队列中的特 征分别串联， 计算分类损失。权　利　要　求　书 2/2 页 3 CN 114821206 B 3