(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210581791.6 (22)申请日 2022.05.26 (71)申请人 讯飞智元信息科技有限公司 地址 230088 安徽省合肥市高新区望江西 路666号讯飞大厦8层-10层 申请人 科大讯飞股份有限公司 (72)发明人 贾若然　张友国　谭昶　刘江　 吕军　胡少云　李亚玲　张慧萍　 宋薇薇　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 王云晓 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/22(2022.01)G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06F 16/58(2019.01) (54)发明名称 一种图像特征获取方法、 图像检索方法及相 关设备 (57)摘要 本发明提供了一种图像特征获取方法、 图像 检索方法及相关设备， 针对图像中对象的某些部 位不可见的情况， 本发明提供的图像特征获取方 法先确定图像中对象 的可见关键点信息， 然后基 于可见关键点信息定位出可见关键区域， 接着获 取可见关键区域的特征， 然后基于可见关键区域 的特征预测不可见关键区域的特征， 如此可获得 所有关键区域的特征即局部特征， 在此基础上， 将局部特征与全局特征融合， 可得到能较好表征 图像中对象的综合特征。 在本发 明提供的图像特 征获取方法的基础上， 本发明还提供了图像检索 方法， 由于图像检索采用的图像特征为采用本发 明提供的图像特征获取方法获得的能够较好表 征图像中对象的图像特征， 因此， 最终可获得较 好的检索效果。 权利要求书3页 说明书16页 附图5页 CN 114926800 A 2022.08.19 CN 114926800 A 1.一种图像特 征获取方法， 其特 征在于， 包括： 获取指定场景的目标图像； 根据所述目标图像， 获取 所述目标图像中目标对象的全局特 征以及可 见关键点信息； 基于所述可 见关键点信息， 确定所述目标对象的可 见关键区域； 获取所述可见关键区域的特征， 并基于所述可见关键区域的特征， 预测所述目标对象 的不可见关键区域的特 征， 以得到所述目标对象的局部特 征； 将所述全局特征与所述局部特征融合， 融合后特征作为所述目标图像对应的图像特 征。 2.根据权利要求1所述的图像特征获取方法， 其特征在于， 所述可见关键点信 息为所述 目标对象的若干关键点中可 见关键点的位置信息； 获取所述目标图像中目标对象的可 见关键点信息， 包括： 获取所述目标图像的浅层特 征； 针对所述若干关键点中的每个关键点： 根据 所述浅层特征预测该关键点为可见关键点 的概率， 根据所述浅层特征和该关键点为可见关键点的概率， 生成该关键点对应的关键点 热图； 根据所述若干关键点分别对应的关键点热图， 确定所述若干关键点中可见关键点的位 置信息。 3.根据权利要求1所述的图像特征获取方法， 其特征在于， 所述获取所述可见关键区域 的特征， 并基于所述可见关键区域的特征， 预测所述目标对象的不可见关键区域的特征， 包 括： 基于预先训练得到的特 征获取模型， 获取 所述可见关键区域的特 征； 基于所述特征获取模型， 以所述可见关键区域的特征为依据， 预测所述目标对象的不 可见关键区域的特 征； 其中， 所述特 征获取模型采用所述指定场景中标注有对象标识的训练图像训练得到 。 4.根据权利要求3所述的图像特征获取方法， 其特征在于， 所述基于预先训练得到的特 征获取模型， 获取 所述可见关键区域的特 征， 包括： 将所述目标图像输入所述特征获取模型的第 一特征提取模块， 得到所述目标图像的浅 层特征； 从所述目标图像的浅层特 征中获取 所述可见关键区域的浅层特 征； 将所述可见关键区域的浅层特征输入所述特征获取模型中所述可见关键区域对应的 第二特征提取模块， 得到所述可见关键区域对应的第二特征提取模块输出的所述可见关键 区域的特 征； 基于所述特征获取模型， 以所述可见关键区域的特征为依据， 预测所述目标对象的不 可见关键区域的特 征， 包括： 将所述可见关键区域对应的第二特征提取模块输出的特征输入所述特征获取模型中 所述不可见关键区域对应的第二特征提取模块， 得到所述不可见关键区域对应的第二特征 提取模块输出的所述 不可见关键区域的特 征。 5.根据权利要求3所述的图像特征获取方法， 其特征在于， 所述特征获取模型的训练目 标包括：权　利　要　求　书 1/3 页 2 CN 114926800 A 2使基于所述训练图像中对象的局部特征预测的对象标识， 与 所述训练图像标注的对象 标识趋于一致， 其中， 所述训练图像中对 象的局部特征包括所述训练图像中对 象的可见关 键区域的特 征和不可 见关键区域的特 征； 和/或， 使基于所述训练图像对应的图像特征预测的对象标识与所述训练图像标注的 对象标识趋于一致， 其中， 所述训练图像对应的图像特征为所述训练图像中对 象的全局特 征与局部特 征的融合特 征。 6.根据权利要求5所述的图像特征获取方法， 其特征在于， 所述特征获取模型的训练过 程包括： 基于特征获取模型， 获取 所述训练图像中对象的全局特 征； 基于特征获取模型， 获取所述训练图像中对象的可见关键区域的特征， 并以所述训练 图像中对象的可见关键区域的特征为依据， 预测所述训练图像中对象的不可见关键区域的 特征， 以得到所述训练图像中对象的局部特 征； 将所述训练图像中对象的全局特征与局部特征融合， 融合后特征作为所述训练图像对 应的图像特 征； 分别根据所述训练图像中对象的局部特征和/或所述训练图像对应的图像特征， 以及 所述训练图像中对 象的全局特征， 预测所述训练图像的对 象标识为各设定标识的概率， 得 到预测结果； 根据所述预测结果和所述训练图像标注的对象标识确定预测损失， 并根据所述预测损 失对特征获取模型进行参数 更新。 7.根据权利要求6所述的图像特征获取方法， 其特征在于， 所述局部特征为多个， 每个 局部特征为一关键区域的特征， 所述预测结果包括第一预测结果、 第二预测结果和第三预 测结果， 所述第一预测结果为根据全局特征预测的概率， 所述第二预测结果为根据每个局 部特征预测的概 率， 所述第三预测结果 为根据图像特 征预测的概 率； 所述根据所述预测结果和所述训练图像标注的对象标识确定预测损失， 包括： 根据所述第 一预测结果和所述训练图像标注的对象标识确定第 一预测损失， 根据 所述 第二预测结果和所述训练图像标注的对象标识确定第二预测损失， 根据所述第三预测结果 和所述训练图像标注的对 象标识确定第三预测损失， 其中， 所述第二预测损失包括在多个 局部特征上分别对应的预测损失； 将所述第一预测损 失、 所述第二预测损 失和所述第三预测损 失融合， 融合后损 失作为 最终的预测损失。 8.一种图像 检索方法， 其特 征在于， 包括： 采用如权利要求1～7中任一项所述的图像特征获取方法， 获取指定场景中目标图像对 应的图像特 征； 计算所述目标图像对应的图像特征与所述指定场景中的图像库中各图像分别对应的 图像特征的相似度； 根据计算得到的相似度， 确定所述目标图像对应的检索结果。 9.一种图像特征获取装置， 其特征在于， 包括： 图像获取模块、 全局特征获取模块、 可见 关键点信息获取模块、 可 见关键区域确定模块、 局部特 征获取模块以及特 征融合模块； 所述图像获取模块， 用于获取指定场景的目标图像；权　利　要　求　书 2/3 页 3 CN 114926800 A 3