(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210603348.4 (22)申请日 2022.05.31 (65)同一申请的已公布的文献号 申请公布号 CN 114694185 A (43)申请公布日 2022.07.01 (73)专利权人 浪潮电子信息产业股份有限公司 地址 250101 山东省济南市高新区浪潮路 1036号 (72)发明人 李晓川　郭振华　李仁刚　赵雅倩　 范宝余　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 张艺 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/52(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01)G06K 9/62(2022.01) (56)对比文件 WO 2022032549 A1,202 2.02.17 CN 110598718 A,2019.12.20 CN 113743544 A,2021.12.0 3 WO 2022027986 A1,202 2.02.10 CN 114220124 A,202 2.03.22 CN 114419408 A,202 2.04.29 CN 107563415 A,2018.01.09 林建武.基 于深度学习的跨模态行 人重识别 研究. 《中国硕士学位 论文全文数据库》 .2021, 林建武.基 于深度学习的跨模态行 人重识别 研究. 《中国硕士学位 论文全文数据库》 .2021, Liyan Zhang 等.Gl obal-Local Multiple Granularity Learn ing for Cros s-Modality Visible-I nfrared Perso n Reidentificati on. 《 IEEE Transacti ons on Neural Netw orks and Learn ing System s》 .2021,第1-1 1页. 审查员 曹宁 (54)发明名称 一种跨模态目标重识别方法、 装置、 设备及 介质 (57)摘要 本申请公开了一种跨模态目标重识别方法、 装置、 设备及介质， 涉及人工智能技术领域， 所述 方法包括： 对不同模态下采集得到的参考图像和 待识别图像进行图像块截取处理， 得到参考图像 的图像块和待识别图像的图像块； 对参考图像的 图像块和待识别图像的 图像块进行特征提取， 得 到参考图像块特征和待识别图像块特征； 计算参 考图像块特征与待识别图像块特征之间的距离， 以确定出参考图像和待识别图像 之间的相似度， 基于相似度确定参考图像上的目标与待识别图 像上的目标是否相匹配， 可见， 本申请对不同模 态下采集得到的图像进行截取， 通过计算不同模 态下图像块之间的距离确定所述不同模态下的图像是否相匹配， 提高了不同模态图像之间互相 识别的准确性。 权利要求书3页 说明书12页 附图8页 CN 114694185 B 2022.11.04 CN 114694185 B 1.一种跨模态目标重识别方法， 其特 征在于， 包括： 基于预设图像块截取规则分别对参考图像以及待识别图像进行处理， 得到所述参考图 像的图像块以及所述待识别图像的图像块； 其中， 所述参考图像与所述待识别图像为在不 同模态下采集得到的图像； 分别对所述参考图像的图像块和所述待识别图像的图像块进行特征提取， 得到所述参 考图像对应的参 考图像块特 征和所述待识别图像对应的待识别图像块特 征； 通过计算所述参考图像块特征与 所述待识别图像块特征之间的距离， 以确定出所述参 考图像和所述待识别图像之 间的相似度， 并基于所述相似度确定所述参考图像上的目标与 所述待识别图像上的目标 是否相匹配； 其中， 所述分别对所述参考图像的图像块和所述待识别图像的图像块进行特征提取， 得到所述参考图像对应的参考图像块特征和所述待识别图像对应的待识别图像块特征， 包 括： 分别对所述参考图像的图像块以及所述待识别图像的图像块进行图像编码， 得到各自 对应的图像块编码特 征； 利用基于预设 自注意力 机制构建的预设特征选取器， 分别对所述参考图像的图像块编 码特征和所述待识别图像的图像块编 码特征进 行特征选取 处理， 得到所述参考图像对应的 参考图像块特 征和所述待识别图像对应的待识别图像块特 征； 所述利用基于预设自注意力 机制构建的预设特征选取器， 分别对所述参考图像的图像 块编码特 征和所述待识别图像的图像块编码特 征进行特征选取处 理之前， 还 包括： 基于自注意力运算单元、 层归一化单元、 特征随机删除单元以及特征相加单元构建特 征选取单元； 通过将预设的特征融合单元以及预设数量的所述特征选取单元进行依次串接， 以构建 得到所述预设特 征选取器； 相应的， 所述利用基于预设自注意力机制构建的预设特征选取器， 分别对所述参考图 像的图像块编 码特征和所述待识别图像的图像块编 码特征进 行特征选取处理， 得到所述参 考图像对应的参 考图像块特 征和所述待识别图像对应的待识别图像块特 征， 包括： 利用所述特征融合单元， 获取所述参考图像的图像块和所述待识别图像的图像块各自 对应的目标属性编 码特征， 并通过将所述图像块编 码特征以及相应的所述目标属性编 码特 征进行融合处 理， 以得到所述 参考图像和所述待识别图像各自对应的候选特 征； 将所述预设特征选取器中的第 一个特征选取单元作为当前特征选取单元， 并将所述参 考图像和所述待识别图像各自对应的候选特 征均作为待处 理特征； 将所述待处 理特征输入至当前 特征选取单元中； 利用当前特征选取单元对所述待处理特征依次进行自注意力运算、 层归一化运算、 特 征随机删除运算以及特征相加运算， 以得到所述参考图像和所述待识别图像各自对应的当 前选取后特 征； 判断当前 特征选取单元是否为最后一个； 若否， 则将当前特征选取单元更新为下一个特征选取单元， 将所述待处理特征更新为 当前选取后特 征， 并返回执 行所述将所述待处 理特征输入至当前 特征选取单元中的步骤； 若是， 则将所述参考图像和所述待识别图像各自对应的当前选取后特征分别作为所述权　利　要　求　书 1/3 页 2 CN 114694185 B 2参考图像对应的参 考图像块特 征和所述待识别图像对应的待识别图像块特 征； 其中， 所述参考图像的图像块和所述待识别图像的图像块各自对应的目标属性编码特 征包括： 所述参考图像的图像块和所述待识别图像的图像块各自对应的图像块位置编 码特 征和图像块截取模式编码特 征。 2.根据权利要求1所述的跨模态目标重识别方法， 其特征在于， 所述获取所述参考图像 的图像块和所述待识别图像的图像块各自对应的目标属性编码特 征， 包括： 获取所述参考图像的图像块和所述待识别图像的图像块各自对应的图像块位置编码 特征和图像块截取模式编码特 征。 3.根据权利要求1所述的跨模态目标重识别方法， 其特征在于， 所述利用当前特征选取 单元对所述待处理特征依 次进行自注意力运算、 层归一化运算、 特征随机删除运算以及特 征相加运 算， 以得到所述 参考图像和所述待识别图像各自对应的当前选取后特 征， 包括： 利用当前特征选取单元中的所述自注意力运算单元对所述待处理特征进行自注意力 运算， 得到相应的自注意力运 算结果； 利用当前特征选取单元中的所述层归一化单元对所述自注意力运算结果进行层归一 化运算， 得到相应的层归一 化特征； 利用当前特征选取单元中的所述特征随机删除单元并按照预设删除比例对所述层归 一化特征进行特征随机删除运 算， 得到相应的删除后剩余特 征； 利用当前特征选取单元中的所述特征相加单元对所述删除后剩余特征与所述待处理 特征进行特征相加运算， 以得到所述参考图像和所述待识别图像各自对应的当前选取后特 征。 4.根据权利要求1所述的跨模态目标重识别方法， 其特征在于， 所述基于预设图像块截 取规则分别对参考图像以及待识别图像进 行处理， 得到所述参考图像的图像块以及所述待 识别图像的图像块， 包括： 按照预设的多种图像块截取模式分别对参考图像以及待识别图像进行处理， 得到所述 参考图像和所述待识别图像各自对应的多种尺寸类型 的图像块； 其中， 不同的所述图像块 截取模式对应不同的图像块裁 剪尺寸； 相应的， 所述通过计算所述参考图像块特征与所述待识别图像块特征之间的距离， 以 确定出所述参考图像和所述待识别图像之间的相似度， 包括： 分别计算每一所述尺寸类型对应的所述参考图像块特征与所述待识别图像块特征之 间的余弦距离， 并对不同所述尺寸类型对应的各所述余弦距离进行加权计算， 以得到所述 参考图像和所述待识别图像之间的相似度。 5.根据权利要求1至4任一项所述的跨模态目标重识别方法， 其特征在于， 所述基于所 述相似度确定所述 参考图像上的目标与所述待识别图像上的目标 是否相匹配， 包括： 基于所述参考图像与 预设待识别图像库中的不同所述待识别图像之间的所述相似度， 对所述预设待识别图像库进行检索， 得到相应的检索后图像； 其中， 所述检索后图像上的目 标与所述 参考图像上的目标相匹配。 6.一种跨模态目标重识别装置， 其特 征在于， 包括： 图像块获取模块， 用于基于预设图像块截取规则分别对参考图像以及待识别图像进行 处理， 得到所述参考图像的图像块以及所述