(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210806327.2 (22)申请日 2022.07.08 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 姚金良　陈飞　黄孝喜　李永青　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 傅朝栋　张法高 (51)Int.Cl. G06F 16/583(2019.01) G06V 10/80(2022.01) G06V 10/771(2022.01) G06V 10/82(2022.01) (54)发明名称 基于注意力融合局部超级特征和全局特征 的图像检索方法 (57)摘要 本发明提供了一种基于注意力融合局部超 级特征和全局特征的图像检索方法。 该方法主要 包含融合特征训练和实时图像检索这两个部分。 其中融合特征训练包含两个阶段： 局部超级特征 的提取， 局部超级特征和全局特征的融合。 局部 超级特征的提取是通过迭代注意力模型提取出 有用的局部特征， 通过正样本对特征匹配训练， 找出最有用的局部超级特征； 局部超级特征和全 局特征的融合是将找出的局部超级特征与全局 特征的信息进行正交融合， 得到一个单一多维的 特征向量用于检索。 本发明方法可以精确提取出 图像的有用特征， 同时特征数据量小， 信息高度 集中， 检索速度更快， 存储空间要求更低， 进而能 更好的用于图像 检索任务。 权利要求书3页 说明书7页 附图2页 CN 115238117 A 2022.10.25 CN 115238117 A 1.一种基于注意力融合局部超级特征和全局特征的图像检索方法， 其特征在于， 具体 步骤如下： 步骤S1、 基于图像检索相关的图像数据集， 根据图像数据集中数据的分类选定检索图 片Q、 与检索图片Q属于同类的正样 本图片P和与检索图片Q属于不同类的负样本图片N， 构成 一次训练样本组G； 步骤S2、 使用预训练好的卷积神经网络， 将步骤S1中的训练样本组G输入该卷积神经网 络， 提取卷积神经网络中倒数第二块卷积特征图作为初步的局部特征LF， 提取卷积神经网 络中最后一 块卷积特 征图作为初步全局特 征GF； 步骤S3、 构建迭代注意力模型L， 按照步骤S3.1和 S3.2来训练迭代注意力 模型并得到局 部超级特 征LSF； 步骤S3.1、 对得到的一组训练样本组G中各图片的局部特征LF， 将其输入到迭代注意力 模型L中， 得到各图片的局部超级特 征LSF； 步骤S3.2、 对检索图片Q和正样本图片P的局部超级特征LSF进行匹配， 找出匹配的超级 特征对； 对超级特征对与负 样本图片N的局部超级特 征LSF计算损失Lsuper； 步骤S4、 对于得到的局部超级特征LSF和初步全局特征GF， 将初步全局特征GF经过池化 层和全连接层操作， 得到一个单一多维的全局特征SGF， 计算每一个局部超级特征LSF在全 局特征SGF上的正交分量OC； 步骤S5、 训练样本组G中各图片的局部超级特征LSF减去自身的正交分量OC， 再与全局 特征SGF进行空间维度拼接， 经 过一个全连接层后得到最终的融合特 征OCF， 用于图像 检索； 步骤S6、 对得到的融合特征OCF特征进行交叉熵损失函数的计算， 得到损失Lglobal， 再计 算最终的总损失L ＝Lsuper+Lglobal； 基于总损失训练模型直到模型收敛； 步骤S7、 将图像检索数据库中的所有图像按照与训练样本相同的方法输入到训练后的 模型中， 得到图像 检索数据库中每张图像的融合特 征OCFk； 步骤S8、 将待检索图片Q*按照与训练样本相同的方法输入到训练后的模型中， 得到待检 索图片Q*的融合特征OCF*， 将其与图像检索数据库中各图像的融合特征OCFk进行余弦相似 度的计算， 取余弦相似度最高的前K个融合特征对应 的图像作为与待检索图片Q*最相似的 的检索结果进行返回。 2.根据权利要求1所述的基于注意力融合局部超级特征和全局特征的图像检索方法， 其特征在于， 所述步骤S3中构建的迭代注意力模型L用于将局部特征LF映射为局部超级特 征LSF， 其映射 函数Φ(u)对于特 征空间的映射表示如下： Φ(u)： RL*D→RN*d 其中， u表示输入的局部特征， N表述输出的局部超级特征LSF个数， L表示输入的局部特 征LF个数， D和d分别表示局 部特征LF和局部超级特征LSF的特征维度， R表示特征的向量空 间； 映射函数Φ(u)中的具体迭代过程表示如下： Φ(u)＝zT zt＝φ(u； zt‑1) φ(u； z)＝MLP( ψ(u； z) )+ ψ(u； z) ψ(u； z)＝V(u) ·α +z 其中， φ(u； z)表示一次迭代中执行的操作， 其第一部分输入为局部特征u， 第二部分输权　利　要　求　书 1/3 页 2 CN 115238117 A 2入z为上一次迭代的输出zt‑1， 其中第一次迭代时的第二部分输入z的z0∈RN*d是一组可学习 的模板， 即可学习的参数矩阵； 局部超级特征LSF是根据卷积神经网络输出的局 部特征LF， 通过迭代细化模板逐步形成的， 映射函数Φ(u)中φ一共迭代T次后， 以第T次迭代得到的输 出zT作为最终输出的局部超级特征； MLP表示一层全连接层， 其输入为注意力融合操作 ψ(u； z)的输出； 注意力融合操作ψ(u； z)中， 对于输入的局部特征u， 先对其进行线性映射变成V (u)和K(u)， 对z应用层归一化操作后变成Q(z)， 再依次通过softmax和L1规范化得到注意力 权重α ＝l1norm(softmax(Q(z)*K(u) )。 3.根据权利要求1所述的基于注意力融合局部超级特征和全局特征的图像检索方法， 其特征在于， 所述步骤S3.2中对检索图片Q和正样 本图片P的局部超级 特征LSF进行匹配时， 超级特征对的匹配规则为： 对于任意一组正样本对图片x， x+， 以s∈S和s+∈S+分别表示两张 图片x和x+的局部超级 特征S和S+中的单个特征； 超级特征对(s， s+)配对时， 必须同时满足如下三个条件： 1)s， s+必 须是互相的最近邻的特征； 2)s， s+需要通过Lowe的第一到第二近邻比率测试； 3)s， s+具有相 同的超级特 征序号； 一组正样本对图片x， x+中所有匹配得到的超级特 征对(s， s+)构成集合P*。 4.根据权利要求3所述的基于注意力融合局部超级特征和全局特征的图像检索方法， 其特征在于， 所述超级特 征对的匹配规则中的三个条件表示 为如下公式： 其中τ为阈值， i(s)表示特征s在 的序号， 表示特征s+ 在部超级特 征S中最近邻的特 征， S\{s}表示S中去掉特 征s后的特 征集。 5.根据权利要求4所述的基于注意力融合局部超级特征和全局特征的图像检索方法， 其特征在于， 阈值 τ ＝0.9。 6.根据权利要求4所述的基于注意力融合局部超级特征和全局特征的图像检索方法， 其特征在于， 所述 步骤S3.2中损失Lsuper计算公式如下： 其中μ′是一个距离超参数， 表示局部超级特征对中正样本特征与对应多个负样本特征 应该有的最小间隔， 即特征间的距离应大于给定 的μ′； 中的上标+代表括 号内的部 分需为一个不小于零的值； N(i(s))表 示负样本图片N中所有序号为i(s)的特征的 集合。 7.根据权利要求1所述的基于注意力融合局部超级特征和全局特征的图像检索方法， 其特征在于， 所述 步骤S4中正交分量OC的计算公式如下： 权　利　要　求　书 2/3 页 3 CN 115238117 A 3