(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210725320.8 (22)申请日 2022.06.23 (71)申请人 厦门大学 地址 361000 福建省厦门市思明区思明南 路422号 (72)发明人 赵万磊　洪义耕　雷蕴奇　 (74)专利代理 机构 厦门市新 华专利商标代理有 限公司 3 5203 专利代理师 罗恒兰 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/77(2022.01) G06V 10/44(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于语义概念抽取的检索方法 (57)摘要 本发明公开了一种基于语义概念抽取的检 索方法， 其包括： 获取查询特征； 将查询特征与候 选特征数据库中的候选特征进行相似度计算， 得 到相似度排序结果； 将相似度排序结果作为检索 结果返回。 其中， 候选特征由图像数据库中的图 像经特征提取后得到： 从图像中提取基本语义元 素； 进行语义概念切割得到语义概念特征； 语义 概念特征经过L2正则化、 PCA白化以及再一轮L2 正则化处理， 得到候选特征。 本发明所提取的语 义概念特征粒度可覆盖实例级别与图像级别， 使 得所提取的特征能够描述全局与局部的图像语 义信息， 从而能够在一套框架内统一图像检索与 实例检索， 因此既可用于实例检索任务， 也可用 于图像检索任务。 权利要求书2页 说明书10页 附图3页 CN 115205554 A 2022.10.18 CN 115205554 A 1.一种基于语义 概念抽取的检索方法， 其特 征在于： 所述方法包括： 获取查询特 征； 将查询特 征与候选特 征数据库中的候选特 征进行相似度计算， 得到相似度排序结果； 将相似度排序结果作为检索结果返回； 所述候选特征库中的候选特征由图像数据库中的图像经特征提取后得到； 所述特征提 取方法如下： 从图像中提取基本语义元 素； 进行语义 概念切割： 对基本语义元 素构建无向图Gimage， 无向图Gimage中两个节点之间边的权 重定义为： 其中， cos(vi,vj)为vi与vj之间的余弦相似度； 在无向图中切割出连通分量， 每个连通分量包含了相似的基本语义元素； 计算每个连 通分量内节点的平均特 征来聚合基本语义元 素的特征， 得到语义 概念特征； 语义概念特征经过L2正则化、 PCA白化以及再一轮L2正则化处 理， 得到候选特 征。 2.根据权利要求1所述的一种基于语义概念抽取的检索方法， 其特征在于： 从图像 中提 取基本语义元 素具体如下： 将图像输入到卷积神经网络中， 得到 输出的H×W×C维的特征图X； 在通道维度C上对特 征图X取平均值后得到 H×W维的平均激活图 使用N×N的窗口在平均激活图 上寻找得到峰值 点集合； 针对平均激活图 上的每个峰值点， 通过贡献概率公式由后往前进行逐层的反向传播 计算， 一直到输入图像， 得到每 个峰值点与原图像尺度相同的贡献概 率图M； 在贡献概 率图M上以矩形框的形式估计出基本语义元 素的空间位置信息 。 3.根据权利要求2所述的一种基于语义概念抽取的检索方法， 其特征在于： 所述贡献概 率公式如下： 其中， P(Ii,j)为输入特征图中某一像素位置Ii,j对输出特征图中某一像素位置Op,q的贡 献概率； 条件概 率P(Ii,j|Op,q)的定义为： 其中， 为I在空间位置(i,j)上通过前向传播计算的自下而上的激 活值， Zp,q为正则化 项， 用来确保∑p,qP(Ii,j|Op,q)＝1。 4.根据权利要求2所述的一种基于语义概念抽取的检索方法， 其特征在于： 在估计基本 语义元素的空间位置之前， 对贡献概 率图M进行如下处 理： 对贡献概 率图M上的值进行归一 化， 使其范围处于[0,1]； 设置阈值 τa过滤对峰值 点没有贡献的像素点；权　利　要　求　书 1/2 页 2 CN 115205554 A 2将贡献概率图M上的激活区域估计为椭圆形状， 该椭圆的参数由贡献概率图M中大于τa 的像素位置建模图像二阶矩得到： 5.根据权利要求4所述的一种基于语义概念抽取的检索方法， 其特征在于： 所述基本语 义元素对应的矩形框由椭圆的外接矩形得到， 通过每个基本语义元素对应的矩形框在特征 图上进行平均池化得到基本语义元 素的特征。 6.根据权利要求1所述的一种基于语义概念抽取的检索方法， 其特征在于： 所述无向图 Gimage表示为： Gimage＝<Vimage,Eimage>， 其中， Vimage为无向图的节点， 由基本语义元 素特征构成 Eimage为边的集合， 表示为 7.根据权利要求1所述的一种基于语义概念抽取的检索方法， 其特征在于： 在进行语义 概念切割得到语义 概念特征后， 进行非语义 概念去除； 具体如下： 首先， 建立数据集级别无向图Gdataset＝＜Vdataset,Edataset＞， 其中Vdataset为数据集级别无 向图中的节点， 为语义概念特征 Edataset为边的集合， 表示为 Gdataset中的边权重定义为： 若两个节点之间的相似度大 于阈值 τc， 则两个节点之间的权 重为1， 否则为0； 然后， 利用数据集级别无向图Gdataset中节点的度中心性来衡量节点的重要 程度； 度中心 性的定义为节点的度， 在无向图Gdataset中为每个节点的边数量； 一个节点的度中心性越高， 说明其与越多的节点相连， 因此在无向图Gdataset中越重要； 一个节点vi的度Di通过下式计算 得到： 最后， 排除掉度中心性得分低于阈值τd的非主要语义概念， 保留有意义的语义概念特 征。 8.根据权利要求1所述的一种基于语义概念抽取的检索方法， 其特征在于： 所述查询特 征为图像查询特 征或实例查询特 征。 9.根据权利要求8所述的一种基于语义概念抽取的检索方法， 其特征在于： 所述查询特 征为图像查询特 征时， 查询特 征的获取如下： 输入查询图像， 通过卷积神经网络提取出特征图， 对该特征图进行全局池化得到查图 像询特征； 或者， 对特征图进行语义概念切割， 得到多个语义概念特征， 选择其中一个语义 概念特征作为图像查询特 征。 10.根据权利要求8所述的一种基于语义概念抽取的检索方法， 其特征在于： 所述查询 特征为实例查询特 征时， 查询特 征的获取如下： 输入实例图像， 或者输入查询图像， 利用查询实例矩形框对查询图像进行裁剪， 得到实 例图像； 通过卷积神经网络从实例图像中提取出特征图； 对该特征图进行全局池化得到实 例查询特 征。权　利　要　求　书 2/2 页 3 CN 115205554 A 3