(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210838226.3 (22)申请日 2022.07.18 (65)同一申请的已公布的文献号 申请公布号 CN 114998567 A (43)申请公布日 2022.09.02 (73)专利权人 中国科学院长春光学精密机 械与 物理研究所 地址 130033 吉林省长 春市东南湖大路 3888号 (72)发明人 李焱　李宁　李毅　曹立华　 刘海波　韩玺钰　 (74)专利代理 机构 长春众邦菁华知识产权代理 有限公司 2 2214 专利代理师 于晓庆 (51)Int.Cl. G06V 10/143(2022.01) G06V 10/30(2022.01) G06V 10/54(2022.01) G06V 10/776(2022.01) G06V 10/80(2022.01) G06V 10/74(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (56)对比文件 CN 1016970 06 A,2010.04.21 CN 108663677 A,2018.10.16 CN 110705498 A,2020.01.17 CN 111870248 A,2020.1 1.03 CN 108776779 A,2018.1 1.09 CN 105389797 A,2016.0 3.09 CN 113420643 A,2021.09.21 US 20152 27776 A1,2015.08.13 CN 106096604 A,2016.1 1.09 赵尚男 等. “采用视觉特征整合的红外弱小 目标检测 ”. 《光学精密工程》 .2020,第28卷(第2 期), Yuwen Chen 等.“Infrared Smal l Target Detection Through Multiple F eature Analysis Based o n Visual Sal iency”. 《IEEE Access》 .2019,第7 卷 审查员 王晓倩 (54)发明名称 一种基于多模态特征判别的红外点群目标 识别方法 (57)摘要 一种基于多模态特征判别的红外点群目标 识别方法， 涉及红外点群目标检测识别技术领 域， 本发明的一种基于多模态特征判别的红外点 群目标识别方法， 包括以下步骤： 步骤S1、 多源图 像序列数据和目标测量类数据预处理； 步骤S2、 单模态多源图像序列数据目标特征提取及目标 识别； 步骤S3、 单模态目标测量类数据目标特征 提取及状态识别； 步骤S4、 多模态特征融合及 目 标识别； 步骤S5、 识别结果融合及判定。 本发明具 备对红外点群目标进行物理属性分类识别的能 力， 提升了红外点群目标识别的鲁棒性， 对红外点群目标物理属性识别准确率达85%以上。 权利要求书2页 说明书7页 附图7页 CN 114998567 B 2022.11.01 CN 114998567 B 1.一种基于多模态特 征判别的红外点群目标识别方法， 其特 征在于， 包括以下步骤： 步骤S1、 多源图像序列数据和目标测量类数据预处 理； 将多源图像序列数据输入至以卷积神经网络为主的目标特征识别网络中， 按式(1)进 行图像预处理变换， 突出目标特征和统计相关尺寸信息， 同时对目标测 量类数据进行噪点 数据消除处 理； P1=T(I)     (1) 式中，P1表示预处 理变换后图像， T(I)表示预处 理变换函数， I表示输入图像； 步骤S2、 单模态多源图像序列数据目标 特征提取及目标识别； 对经过图像预处理的多源图像序列 数据进行目标再捕 获， 再根据统计的相关尺寸信 息 进行超分辨率重建， 将经过超分辨率重 建后的图像输入到以卷积神经网络为主的目标特征 识别网络中， 实现对目标形状纹理特征信息突出的目标物理属性识别， 同时通过式(2)实现 对图像中待测目标的定位识别：    (2) 式中， 表示待测目标信息描述向量， 表示待测目标物理属性类别， 表示待测目标置信度， 表示待测目标位置， 表示待测目标尺寸； 步骤S3、 单模态目标测量类数据目标 特征提取及状态 识别； 将目标测量类数据输入到目标状态变化特征识别网络 中， 通过目标状态变化特征识别 网络对待测目标进行特征变化状态检测， 通过计算获取待测目标的目标物理属性数据知识 语义表达特 征， 同时提取目标物理属性数据的知识特 征； 通过式(3)、 式(4)和式(5)实现单模态目标测量类数据目标特征提取及状态识别； 式 (3)为目标物理属性数据知识语义表达特征的计算 公式， 式(4)为目标物理属性数据知识语 义表达特征的相似性分类公式， 式(5)为 目标物理属 性数据知识语义表达特征的目标分类 计算公式；    (3)    (4)    (5)    (6) 式中，O表示目标物理属性数据知识语义表达特征， 分别表 示目标不同维度物理属性知识语义表达特征， Ci表示目标物理属性数据知识语义表达特征 的相似性分类结果， 表示不同目标物理属性数据知识语义表达特征， 表示待测目标物 理属性数据知识语义表达特征， T表示待测目标索引号， C0,…,Cn表示目标不同维度物理属 性数据知识语义表达特征的相似性分类结果， 表示预设约束阈值， TH表示用户 设定的最小相似认可概 率；权　利　要　求　书 1/2 页 2 CN 114998567 B 2步骤S4、 多模态特 征融合及目标识别； 对基于多源图像序列数据获取的图像模态特征数据和对基于目标测量类数据获取的 知识性模态数据进行处理， 将各单模态数据进行语义表达及数据特征整合， 生成目标多模 态数据特征； 将目标多模态数据特征输入到以语义特征为主的目标物理属性分类识别网络 中， 计算出目标物理属性类别及置信度； 步骤S5、 识别结果融合及判定； 选取目标特征数据中的附加属性建立基于目标特征数据的目标物理属性判别策略； 式 (7)为目标物理属性判别策略， 式(8)为加入目标尺寸的附加 属性权重；    (7)    (8) 式中，P表示最终目标置信度， 表示基于图像模态特征数据的目标置信度， ω表示融 合权值，Tn表示待测目标物理属性类别， Point表示待测目标位置， Size表示待测目标尺寸， P′表示基于知识性模态数据的目标置信度， word表示目标物理属性知识语义表达特征， Sigmoid表示权值变换函数， H表示输入图像宽度， W表示输入图像高度。 2.根据权利要求1所述的一种基于多模态特征判别的红外点群目标识别方法， 其特征 在于， 所述目标 特征识别网络采用Faster  R‑CNN网络。 3.根据权利要求1所述的一种基于多模态特征判别的红外点群目标识别方法， 其特征 在于， 所述目标物理属性分类识别网络采用LSTM网络 。 4.根据权利要求1所述的一种基于多模态特征判别的红外点群目标识别方法， 其特征 在于， 步骤S5中， 利用目标物理属 性判别策略对获取的单模态多源图像序列数据目标特征 提取及目标识结果、 单模态目标测 量类数据目标特征提取及状态识别结果、 多模态特征融 合及目标识别结果进行融合判断， 给 出最终的红外点群目标的物理属性类型及置信度。权　利　要　求　书 2/2 页 3 CN 114998567 B 3