(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210949318.9 (22)申请日 2022.08.09 (71)申请人 平安科技 （深圳） 有限公司 地址 518033 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 曾凡涛　顾伏虎　刘杰　刘玉宇　 肖京　 (74)专利代理 机构 北京市京大律师事务所 11321 专利代理师 居梦琪 (51)Int.Cl. G06F 16/583(2019.01) G06V 10/20(2022.01) G06V 10/42(2022.01)G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) (54)发明名称 图像检索方法、 装置、 设备及存 储介质 (57)摘要 本发明涉及人工智能领域， 公开了一种图像 检索方法、 装置、 设备及存储介质， 该方法包括： 获取需检索图像和检索需求； 基于所述检索需求 对所述需检索图像进行预处理， 得到第一图像； 将所述第一图像输入特征提取模 型， 得到所述第 一图像对应的融合向量； 基于所述融合向量和所 述检索需求检索预设的数据库， 得到检索结果。 本方法通过对全局信息和局部信息的融合， 采用 残差网络和图变换网络相结合， 并通过视觉词典 和注意力层筛选局部特征， 有效提高图像检索 精 度。 权利要求书2页 说明书12页 附图6页 CN 115495610 A 2022.12.20 CN 115495610 A 1.一种图像 检索方法， 其特 征在于， 所述图像 检索方法包括： 获取需检索图像和检索需求； 基于所述检索需求对所述需检索图像进行 预处理， 得到第一图像； 将所述第一图像输入所述特征提取模型中， 通过所述特征提取模型中的残差网络部分 对所述第一图像进行处 理， 输出残差结果； 将所述残差结果进行全局特 征提取， 得到所述第一图像的全局特 征表达； 将所述残差结果进行局部特 征提取， 得到所述第一图像的局部特 征表达； 通过正交分解的方式将所述全局特征表达和所述局部特征表达进行融合， 并将所述局 部特征表达非正交部分进行池化， 得到所述第一图像对应的融合向量； 基于所述融合向量和所述检索需求检索预设的数据库， 得到检索结果。 2.根据权利要求1所述的图像检索方法， 其特征在于， 所述基于所述检索需求对所述需 检索图像进行 预处理， 得到第一图像， 包括： 对搜索需检索图像进行解析， 框 选出所述检索图像中的主体范围； 计算所述检索需求与所述主体范围的重 叠度， 并判断所述重 叠率是否大于预设阈值； 若是， 则剔除所述需检索图像中与所述主体范围无关的部分， 得到所述第一图像； 若否， 则将所述需检索图像更新 为第一图像。 3.根据权利要求1所述的图像检索方法， 其特征在于， 所述将所述残差结果进行全局特 征提取， 得到所述第一图像的全局特 征表达， 包括： 将所述残差结果输入至预设的图变化网络， 使得所述残差结果融合为预设规格的全局 特征图； 基于所述预设规格将所述图变换网络所输出的全局特征图用作所述第一图像的全局 特征表达。 4.根据权利要求1所述的图像检索方法， 其特征在于， 所述将所述残差结果进行局部特 征提取， 得到所述第一图像的局部特 征表达， 包括： 采用预设的视觉词典作为所述特征提取模型中的自编码层对所述残差结果进行编码 压缩， 筛选得到去除冗余信息的局部特 征； 通过所述特征提取模型中的注意力层对所述局部特征进行处理， 得到所述第 一图像的 局部特征表达。 5.根据权利要求1所述的图像检索方法， 其特征在于， 所述数据库中包括至少一张库存 图像， 所述基于所述融合向量和所述检索需求检索预设的数据库， 得到检索结果， 包括： 基于所述检索需求遍历检索对所述融合向量和数据库中库存图像进行相似度计算， 得 到所述第一图像与所述库存图像间逐一对应的相似度； 将所述相似度高于预设相似度阈值的所述库存图像进行汇总， 作为所述需检索图像的 检索结果。 6.根据权利要求5所述的图像检索方法， 其特征在于， 所述检索需求还包括检索方向， 所述数据库中包含若干子数据库， 所述基于所述融合向量和所述检索需求检索预设的数据 库， 得到检索结果， 还 包括： 基于所述检索方向确定所述数据库中 需检索的子数据库； 遍历检索对所述融合向量和子数据库中库存图像进行相似度计算， 得到所述第 一图像权　利　要　求　书 1/2 页 2 CN 115495610 A 2与所述库存图像间逐一对应的相似度； 将所述相似度高于预设相似度阈值的所述库存图像进行汇总， 作为所述需检索图像的 检索结果。 7.根据权利要求6所述的图像检索方法， 其特征在于， 所述遍历检索计算所述融合向量 和子数据库中库存图像的相似度， 得到所述第一图像与所述库存图像间逐一对应的相似 度， 包括： 调用预设的库存图像特征向量映射表， 其中， 所述库存图像特征映射表是预先将所述 库存图像遍历运行所述特征提取模型后得到， 所述库存图像特征映射表包含所述库存图像 和库存图像特 征向量的映射关系； 将所述融合向量基于所述库存图像特征向量映射表遍历计算所述库存图像特征向量 的相似度， 得到所述第一图像与所述库存图像间逐一对应的相似度。 8.一种图像 检索装置， 其特 征在于， 所述图像 检索装置包括： 图像获取模块， 用于获取需检索图像和检索需求； 图像预处理模块， 用于基于所述检索需求对所述需检索图像进行预处理， 得到第一图 像； 残差处理模块， 用于将所述第一图像输入所述特征提取模型中， 通过所述特征提取模 型中的残差网络 部分对所述第一图像进行处 理， 输出残差结果； 全局特征获取模块， 用于将所述残差结果进行全局特征提取， 得到所述第一图像的全 局特征表达； 局部特征获取模块， 用于将所述残差结果进行局部特征提取， 得到所述第一图像的局 部特征表达； 特征融合模块， 用于通过正交分解的方式将所述全局特征表达和所述局部特征表达进 行融合， 并将所述局部特 征表达非正交部分进行池化， 得到所述第一图像对应的融合向量； 融合向量检索模块， 用于基于所述融合向量和所述检索需求检索预设的数据库， 得到 检索结果。 9.一种图像检索设备， 其特征在于， 所述图像检索设备包括： 存储器和至少一个处理 器， 所述存 储器中存 储有指令， 所述存 储器和所述至少一个处 理器通过线路互连； 所述至少一个处理器调用所述存储器中的所述指令， 以使得所述图像检索设备执行如 权利要求1 ‑7中任一项所述的图像 检索方法的各个步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质上存储有计算机程序， 其特征 在于， 所述计算机程序被处理器执行时实现如权利要求1 ‑7中任一项所述的图像检索方法 的各个步骤。权　利　要　求　书 2/2 页 3 CN 115495610 A 3