(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211038622.4 (22)申请日 2022.08.29 (71)申请人 荣耀终端 有限公司 地址 518040 广东省深圳市福田区香蜜湖 街道东海社区红荔西路8089号深业中 城6号楼A单元3401 (72)发明人 曹鹏蕊　 (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 专利代理师 李红艳 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/75(2022.01) G06V 10/74(2022.01)G06V 10/46(2022.01) G06V 10/44(2022.01) (54)发明名称 共视档位分类网络的训练方法、 图像排序方 法及相关 设备 (57)摘要 本申请提供了一种共视档位分类网络的训 练方法、 图像排序方法及相关设备， 涉及图像处 理领域； 该共视档位分类网络的训练方法包括： 获取查询训练图像和图像数据库； 提取查询训练 图像和对比图像的局部特征； 根据局部特征， 确 定查询训练图像和对比图像中的有效图像块和 有效共视图像块； 根据有效图像块和有效共视图 像块， 确定查询训练图像和对比图像 之间的真值 档位； 利用共视档位分类网络确定根据查询训练 图像和对比图像 之间的预测档位； 基于真值档位 和预测档位对共视档位分类网络进行训练， 得到 已训练的共视档位分类网络。 基于本申请的技术 方案， 能够提高检索到的图像结果的准确性。 权利要求书3页 说明书21页 附图13页 CN 115170893 A 2022.10.11 CN 115170893 A 1.一种共视档位分类网络的训练方法， 其特 征在于， 包括： 获取查询训练图像和图像数据库， 所述图像数据库包括多帧对比图像； 提取所述查询训练图像和所述对比图像的局部特征， 所述局部特征包括局部特征点和 局部特征点描述子； 根据所述局部特征， 确定所述查询训练图像和所述对比图像中的有 效图像块和有效共 视图像块， 所述有效图像块为包括所述局部特征点的图像块， 所述有效共视图像块为包括 所述查询训练图像和所述对比图像之间匹配上的局部特 征点对中的局部特 征点的图像块； 根据所述有 效图像块和有 效共视图像块， 确定所述查询训练图像和所述对比图像之间 的真值档位； 利用所述共视档位分类网络确定根据所述查询训练图像和所述对比图像之间的预测 档位； 基于所述真值档位和所述预测档位对所述共视档位分类网络进行训练， 得到已训练 的 共视档位分类网络 。 2.根据权利要求1所述的训练方法， 其特征在于， 提取所述查询训练图像和所述对比图 像的局部特 征， 包括： 利用局部特 征提取网络提取 所述查询训练图像和所述对比图像的局部特 征； 其中， 所述局部特征提取网络包括编码网络、 关键点检测网络和描述子解码网络， 所述 编码网络用于提取基础特征， 所述关键点检测网络用于基于所述基础特征提取所述局部特 征点， 所述描述子解码网络用于基于所述基础特 征提取所述局部特 征点描述子 。 3.根据权利要求1或2所述的训练方法， 其特征在于， 根据所述局部特征， 确定所述查询 训练图像和所述对比图像中的有效图像块， 包括： 将所述查询训练图像和所述对比图像划分成尺寸 一致的多个图像块； 确定包括所述局部特 征点的图像块 为所述有效图像块。 4.根据权利要求3所述的训练方法， 其特征在于， 根据所述局部特征， 确定所述查询训 练图像和所述对比图像中的有效共视图像块， 包括： 将所述查询训练图像和所述对比图像中的所述局部特征点进行匹配， 确定所述匹配上 的局部特 征点对； 确定包括所述匹配上的局部特征点对中的局部特征点的图像块为所述有效共视图像 块。 5.根据权利要求4所述的训练方法， 其特征在于， 根据所述有 效图像块和有 效共视图像 块， 确定所述 查询训练图像和所述对比图像之间的真值档位， 包括： 根据所述 查询训练图像中的有效共视图像块和有效图像块， 确定第一共视占比； 根据所述对比图像中的有效共视图像块和有效图像块， 确定第二共视占比； 确定所述第一共视占比和所述第二共视占比中的较小值为所述查询训练图像和所述 对比图像之间的共视得分； 根据所述共视得分， 利用预设的共视档位阈值与档位之间的映射关系， 确定所述查询 训练图像和对比图像之间对应的档位， 并作为所述真值档位。 6.一种图像排序方法， 其特 征在于， 应用于电子设备， 包括： 显示第一界面， 所述第一界面包括第一控 件；权　利　要　求　书 1/3 页 2 CN 115170893 A 2检测到对所述第一控 件的第一操作； 响应于所述第一操作， 获取查询图像； 确定所述查询图像和图像数据库中每帧对比图像之间的全局特征相似度， 所述图像数 据库包括多帧对比图像； 从所述图像数据库中获取与所述查询图像全局特征相似度高的M帧对比图像， 作为M帧 候选图像； 提取所述查询图像和M帧所述 候选图像中每帧所述 候选图像的局部特 征； 根据所述查询图像和M帧所述候选图像的局部特征， 利用如权利要求1至5中任一项所 述的共视档位分类网络的训练方法得到的已训练的共视档位分类网络， 确定档位； 从M帧所述候选图像 中， 按照所述档位从大到小的顺序， 确定前N帧候选图像为N帧目标 图像， 1≤N＜M， N和M均为整数； 显示N帧所述目标图像。 7.根据权利要求6所述的图像排序方法， 其特征在于， 从所述图像数据库中获取与 所述 查询图像全局特 征相似度高的M帧对比图像， 作为M帧候选图像， 包括： 按照所述全局特征相似度从大到小的顺序对多帧所述对比图像进行排序， 确定前M帧 对比图像为所述M帧候选图像； 或者， 将所述全局特征相似度 大于预设的全局特征相似度阈值的M帧对比图像， 作为所 述M帧候选图像。 8.根据权利要求7所述的图像排序方法， 其特征在于， 提取所述查询图像和M帧所述候 选图像的局部特 征， 包括： 利用局部特 征提取网络提取 所述查询图像和M帧所述 候选图像的局部特 征。 9.根据权利要求8所述的图像排序方法， 其特征在于， 所述已训练 的共视档位分类网络 包括： 解码网络、 注意力机制网络和分类网络； 根据所述查询图像和M帧所述候选 图像的局部特征， 利用所述已训练的共视档位分类 网络， 确定档位， 包括： 将所述查询图像的局部特 征输入解码网络， 得到第一特 征图； 将所述第一特 征图输入所述注意力机制网络， 得到注意力特 征向量； 将所述注意力特 征向量与M帧所述 候选图像的局部特 征进行点乘， 得到第二特 征图； 将所述第一特 征图、 所述第二特 征图输入所述分类网络， 得到所述档位。 10.如权利要求6所述的图像排序方法， 其特征在于， 所述第 一界面是指拍照界面， 所述 第一控件是指用于指示拍照的控 件。 11.一种电子设备， 其特 征在于， 应用于， 所述电子设备包括： 一个或多个处 理器和存 储器； 所述存储器与所述一个或多个处理器耦合， 所述存储器用于存储计算机程序代码， 所 述计算机程序 代码包括计算机指令， 所述一个或多个处理器调用所述计算机指 令以使得所 述电子设备执行如权利要求1至5中任一项所述的方法， 和 /或， 如权利要求6至10中任一项 所述的方法。 12.一种芯片系统， 其特征在于， 所述芯片系统应用于电子设备， 所述芯片系统包括一 个或多个处理器， 所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1权　利　要　求　书 2/3 页 3 CN 115170893 A 3