(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210676297.8 (22)申请日 2022.06.15 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 周文罡　李厚强　吴晖　 (74)专利代理 机构 北京凯特来知识产权代理有 限公司 1 1260 专利代理师 郑立明　韩珂 (51)Int.Cl. G06F 16/583(2019.01) G06F 16/55(2019.01) G06V 10/44(2022.01) G06V 10/74(2022.01) (54)发明名称 非对称图像检索方法、 系统、 设备及存储介 质 (57)摘要 本发明公开了一种非对称图像检索方法、 系 统、 设备及存储介质， 相关方法中， 首先采用乘积 量化的方法， 在图库的嵌入空间中生成大量的锚 点向量来描述其空间结构； 然后， 这些锚点向量 在查询模型和图库模型之间共享， 训练时每个图 像的特征向量和对应锚点向量之间的关系被当 作是结构相似性， 并被约束为在查询模型和图库 模型之间保持一致， 这允许查询模 型忽略图库模 型的特征细节， 而更多的关注在整体空间结构 上， 使得查询模型和图库模型的嵌入空间被对 齐， 这对非对称检索是至关重要的， 能够提升检 索性能； 除此之外， 本发 明没有利用图像的标注， 可以利用大规模的无标记图像数据进行训练， 因 此本发明有较好的鲁棒 性以及通用性。 权利要求书2页 说明书6页 附图2页 CN 114969422 A 2022.08.30 CN 114969422 A 1.一种非对称图像 检索方法， 其特 征在于， 包括： 利用图库模型对图像数据库中每一图像的分别进行特征提取， 并离线训练乘积量化 器， 利用训练后的乘积量 化器生成图库模型嵌入空间中的锚点向量； 将每一图像分别输入至图库模型与查询模型， 获得图像模型提取的第 一特征向量以及 查询模型提取的第二特征向量； 分别计算所述第一特征向量及第二特征向量与对应锚点向 量之间的相似度， 获得第一特征向量与锚点向量对应的第一相似度， 以及第二特征向量与 锚点向量对应的第二相似度； 对所述第一相似度与第二相似度施加一致性约束以指导查询 模型的训练； 将待检索图像输入至训练后的查询模型， 由训练后的查询模型提取相应的特征向量并 进行检索。 2.根据权利要求1所述的一种非对称图像检索方法， 其特征在于， 所述利用训练后的乘 积量化器生成图库模型嵌入空间中的锚点向量包括： 图像数据库记为X＝{x1， x2，…， xn}， 图像数据库特征记为G＝{g1， g2，…， gn}， 其中， xi表 示第i个图像， gi表示第i个图像xi的特征向量， i ＝1， 2， ...n， n表示图像总数； 将每一特征向量分别拆分为M段子特征向量， 对所有特征向量的相同段子特征向量进 行聚类， 获得对应的一组锚点向量， 将第 j段子特征向量对应的一组锚点向量记 为Cj∈RK×d， j＝1， ...， M， j为一段子特征向量的序号， R表示实数集， K表示中心点的数量， 第k个中心点 对应子锚点向量 d表示单个子锚点向量的维度； 最终获得M组锚点向量， 每 一组锚点向量对应于图库模型的一个子嵌入空间， 每一组锚点向量包 含K个子锚点向量。 3.根据权利要求1或2所述的一种非对称图像检索方法， 其特征在于， 所述分别计算所 述第一特 征向量及第二特 征向量与对应锚点向量之间的相似度包括： 将图像模型提取的第一特 征向量记为g， 将查询模型提取的第二特 征向量记为q； 将第一特 征向量g与第二特 征向量q分别进行拆分， 各自获得M段子特 征向量， 表示 为： g→u1(g)， u2(g)，…， uM(g) q→u1(q)， u2(q)，…， uM(q) 其中， uj(g)、 uj(q)分别表示第一特征向量g、 第二特征向量q中的第j段子特征向量， j＝ 1， ...， M； 分别计算第 一特征向量g的M段子特征向量与对应锚点向量的相似度， 以及 分别计算第 二特征向量q的M段子特 征向量与对应锚点向量的相似度。 4.根据权利要求3所述的一种非对称图像检索方法， 其特征在于， 计算第一特征向量g 的第j段子特 征向量与对应锚点向量的相似度的公式表示 为： 其中， 表示第一特 征向量g的第j段子特 征向量与对应图像的锚点向量的相似度； Cj表示第j组锚点向量， 对应于图库模型的第j个子嵌入空间， K表示中 心点的数量， 第k个中心点对应子锚点向量 5.根据权利要求3所述的一种非对称图像检索方法， 其特征在于， 计算第二特征向量q 的第j段子特 征向量与对应锚点向量的相似度的公式表示 为：权　利　要　求　书 1/2 页 2 CN 114969422 A 2其中， 表示第二特 征向量q的第j段子特 征向量与对应图像的锚点向量的相似度； Cj表示第j组锚点向量， 对应于图库模型的第j个子嵌入空间， K表示中 心点的数量， 第k个中心点对应子锚点向量 6.根据权利要求1或3所述的一种非对称图像检索方法， 其特征在于， 对所述第一相似 度与第二相似度施加一 致性约束包括： 将所述第 一相似度与第二相似度均转化为概率分布， 使用KL散度衡量两个概率分布的 一致性， 以两个概 率分布的一 致性差异约束查询模型。 7.根据权利要求1所述的一种非对称图像检索方法， 其特征在于， 所述第 一相似度与第 二相似度均属于结构相似度， 通过对结构相似度施加 一致性约束， 使训练后的查询模型提 取的特征向量位于图库模型的特 征嵌入空间中。 8.一种非对称图像检索系统， 其特征在于， 基于权利要求1～7任一项所述的方法实现， 该系统包括： 锚点向量生成单元， 用于利用图库模型对图像数据库中每一图像的分别进行特征提 取， 并离线训练乘积量化器， 利用训练后的乘积量化器生成图库模型嵌入空间中的锚点向 量； 查询模型训练单元， 将每一图像分别输入至 图库模型与查询模型， 获得图像模型提取 的第一特征向量以及查询模型提取的第二特征向量； 分别计算所述第一特征向量及第二特 征向量与对应锚点向量之间的相似度， 获得第一特征向量与锚点向量对应的第一相似度， 以及第二特征向量与锚点向量对应的第二相似度； 对所述第一相似度与第二相似度施加一 致性约束以指导 查询模型的训练； 图像检索单元， 用于将待检索图像输入至训练后的查询模型， 由训练后的查询模型提 取相应的特 征向量并进行检索。 9.一种处理设备， 其特征在于， 包括： 一个或多个处理器； 存储器， 用于存储一个或多个 程序； 其中， 当所述一个或多个程序被所述一个或多个处理器执行时， 使得所述一个或多个 处理器实现如权利要求1～7任一项所述的方法。 10.一种可读存储介质， 存储有计算机程序， 其特征在于， 当计算机程序被处理器执行 时实现如权利要求1～7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114969422 A 3