(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210788269.5 (22)申请日 2022.07.06 (71)申请人 西安理工大 学 地址 710048 陕西省西安市碑林区金花 南 路5号 (72)发明人 王鑫　王志晓　 (74)专利代理 机构 西安弘理专利事务所 61214 专利代理师 曾庆喜 (51)Int.Cl. G06F 16/53(2019.01) G06F 16/583(2019.01) G06F 16/55(2019.01) G06V 10/46(2022.01) G06V 10/74(2022.01) G06V 10/762(2022.01)G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于四叉树的SIFT和深度特征结合的图像 检索方法 (57)摘要 本发明基于四叉树的SIFT和深度特征结合 的图像检索方法， 首先分别从Oxford5k数据集中 直接获取查询图片i和n张其它图片Jn的底层特 征和高层特征， 对底层特征和高层特征进行L2归 一化操作和PCA白化操作， 然后根据欧式距离公 式， 分别计算查询图片i和n张其它图片Jn在底层 特征和高层特征下的距离得分， 然后根据两种特 征得分权重融合获得最终加权总得分， 根据总得 分进行图片之间的相似度对比， 最终获取目标图 像。 本发明的图像检索方法， 将无法突破语义鸿 沟的底层特征和通用性弱、 需要借助大型数据库 的卷积神经网络提取出的高层语义特征相融合， 得到信息 更高丰富的特征， 很大程度提高了图像 检索的准确性。 权利要求书3页 说明书7页 附图3页 CN 115329115 A 2022.11.11 CN 115329115 A 1.基于四叉树的SIFT和深度特征结合的图像检索方法， 其特征在于， 具体按照以下步 骤实施： 步骤1、 随机选取1张图片作为查询图片i， 将Oxford5k数据集中的n张图片作为其他图 片Jn； 步骤2、 基于四叉树的SIFT描述子提取查询图片i和n张其他图片Jn的底层特征， 基于 VGG16模型提取查询图片i和n张其他图片Jn的高层特征， 分别得到查询图片i和n张其他图 片Jn的底层特 征和高层特 征； 步骤3、 分别对查询图片i和n张其他图片Jn的底层特征和高层特征进行L2归一化操作， 再对底层特征和高层特征进 行PCA白化操作， 再对底层特征和高层特征进 行L2归一化操作， 得到的两种特 征向量维度相同； 步骤4、 根据欧式距离公式， 分别计算查询图片i和n张其他图片Jn在底层特征和高层特 征下的距离得分， 为两种 特征设定好得分权重， 最后每张图片的总 得分等于两种 特征得分 的加权和； 步骤5、 根据总得分进行图片之间的相似度对比， 其中总得分越低， 两张图片的相似度 越高， 根据总得分， 得 出目标图像。 2.根据权利要求1所述的基于四叉树的SIFT和深度特征结合的图像检索方法， 其特征 在于， 所述 步骤2具体按照以下步骤实施： 步骤2.1、 对图像基于四叉树的SIFT选取SIFT描述子， 然后聚合得到VLAD特征作为底层 特征； 步骤2.2、 对图像 基于VGG16模型通过RMAC池化得到RMAC特 征作为高层特 征。 3.根据权利要求2所述的基于四叉树的SIFT和深度特征结合的图像检索方法， 其特征 在于， 所述 步骤2.1具体按照以下步骤实施： 步骤2.1.1、 利用快速特征检测算子OFAST对图像进行特征检测， OFAST特征点通过图像 灰度差获取， 通过图像的灰度对比算出自适应阈值， 阈值计算公式如(1)所示： 其中， α为比例因子， 取0.02； I(xi)为图像中各个像元点的灰度值； 为该领域图像 灰度值的平均值； 步骤2.1.2、 使用四叉树结构来对1.1.1得到的特征点进行划分， 初始化节点个数计算 如公式(2)所示 式(2)中， num为初始化时的节点个数， roud()为对结果的取整函数， Xmax、 Xmin为网格最 大、 最小横坐标的范围， Ymax、 Ymin代表网格最大、 最小纵坐标的范围； 将图片划分成4个区域， n1、 n2、 n3和n4， 分别检测这4个区域的特征点的数量， 若节点数 等于1， 则不进行分裂并存储该节点， 若大于1， 则继续分裂该节点， 当节点数量达到所期望 的特征数时， 不再进行分裂； 步骤2.1.3、 采用灰度质心法来给每一个特征点赋予一个方向： 通过矩阵的方法求得特 征点邻域灰度质心C； 通过连接每一个特征点和灰度质心， 进而形成一个方向向量OC， 将OC权　利　要　求　书 1/3 页 2 CN 115329115 A 2的指出方向作为特 征点的方向， 其中， 矩计算方法如公式(3)所示： mpq＝∑x,yxpyqI(x,y),p,q＝{0,1}      (3) 式(3)中， x,y为像素点 坐标， x,y∈[ ‑r,r]， r等于邻域半径， 质心C的计算表达式如公式(4)所示： 方向θ 的计算表达式(5)如下： θ ＝arctan(m01,m10)           (5) 式(4)和式(5)中， (m00)为0阶矩的图像块， (m10,m01)为1阶矩的图像块； 步骤2.1.4、 生成SIFT描述符， 以特征点为 中心， 将其周围划分为2 ×2大小的方格， 然后 将每个方格划分为8 ×8的大小； 这样每个关键点就包含有16个种子点， 而每个种子点都被 分配有8个不同方向， 通过绘制8个方向的直方图， 进而得到一个2 ×8×8＝128维的描述子 向量； 步骤2.1.5、 通过K ‑maens聚类， 得到k个视觉单词， 分配SIFT特征至最近的聚类中心， 计 算残差， 拼接每个聚类中心的残差和并拼接， 归一化得到VLAD描述子， 选取的k值大小为64， 最终得到 64x128维特 征向量， 即得到的特 征维度为819 2维， 该特征向量即为底层特 征。 4.根据权利要求2所述的基于四叉树的SIFT和深度特征结合的图像检索方法， 其特征 在于， 所述 步骤2.2具体按照以下步骤实施： 步骤2.2.1、 基于VGG16网络模型的RMAC特征提取将图像进行预处理， 大小调整为 224x224x3， 送至经过Imagenet数据集预训练的VGG16模型， 通过最后的RELU激活函数输出 14x14x512维的特 征向量； VGG16网络模型有16层网络结构， 包括13个卷积层和3个全连， 并且每一个隐藏层后面 的激活函数都是RELU； 卷积层中卷积核的尺寸相同， 都为3x3， 卷积操作的步长为1； 全连接 层中前两层通道数相同都为4096， 最后一层通道数为 1000； 池化层跟在卷积层的后面， 共有 五层， 池化方法都是最大池化， 池化窗口 的尺寸为都为2x2， 步长为2； 步骤2.2.2、 使用RMAC算法， 将特征图划分成多个区域， 每一个区域内都提取一个极大 值， 参与到最终特征向量的形成； 池化窗口的尺寸为2x2， 步长为2， 得到7x7x512维特征向 量， 该特征向量即为高层特 征。 5.根据权利要求1所述的基于四叉树的SIFT和深度特征结合的图像检索方法， 其特征 在于， 所述 步骤3具体按照以下步骤实施： 步骤3.1、 将步骤2中提取的底层特征和高层特征， 分别通过L2归一化， 将它们的取值范 围转化为[0， 1]之间， 使得底层特 征和高层特 征每个维度上的取值范围相同； 步骤3.2、 图像提取出的两种特征维度的大小不一致， 使用PCA算法处理两种特征向量 至同一维度， 高层特征维度是512， 底层特征维度是8192， 通过使用PAC白化， 将其维度从 8192降到512； 步骤3.3、 对经过3.2步骤之后的底层特征和高层特征再分别进行L2归一化操作， 最终 得到的两种特 征向量维度相同， 每 个特征向量维度的取值范围和方差一 致。 6.根据权利要求1所述的基于四叉树的SIFT和深度特征结合的图像检索方法， 其特征 在于， 所述 步骤4具体按照以下步骤实施：权　利　要　求　书 2/3 页 3 CN 115329115 A 3