(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210639366.8 (22)申请日 2022.06.07 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 黄迪和　陈颖　徐尚　刘永　 刘建林　汪铖杰　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 贾允 (51)Int.Cl. G06V 10/75(2022.01) G06V 10/77(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像处理方法、 装置、 电子设备及存 储介质 (57)摘要 本申请涉及一种图像处理方法、 装置、 电子 设备及存储介质， 可 以应用于地图领域。 该方法 包括： 对待匹配的图像对进行不同分辨率的特征 采样处理， 得到第一特征图像对和第二特征图像 对； 对所述第一特征图和所述第二特征图进行特 征的粗粒度匹配处理， 得到初始特征匹配对以及 所述图像对的尺度比例预测信息； 各初始特征匹 配对表征一个第一图像特征与多个第二图像特 征的匹配， 或者表征一个第二图像特征与多个第 一图像特征的匹配； 根据所述初始特征匹配对和 所述尺度比例预测 信息， 对所述第二特征图像对 进行尺度对齐以及特征的细粒度匹配处理， 得到 所述图像对的目标特征匹配对。 根据本申请的技 术方案， 可以提高图像匹配精度。 权利要求书3页 说明书16页 附图6页 CN 115115858 A 2022.09.27 CN 115115858 A 1.一种图像处 理方法， 其特 征在于， 所述方法包括： 对待匹配的图像对进行不同分辨率的特征采样处理， 得到第 一特征图像对和第 二特征 图像对， 所述第一特征图像对的分辨率低于所述第二特征图像对的分辨率， 所述第一特征 图像对包括第一特 征图和第二特 征图； 对所述第一特征图和所述第 二特征图进行特征的粗粒度匹配处理， 得到初始特征匹配 对以及所述图像对的尺度比例预测信息； 各初始特征匹配对表征一个第一图像特征与多个 第二图像特征 的匹配， 或者表征一个第二图像特征与多个第一图像特征 的匹配； 所述第一 图像特征为所述第一特征图对应的图像特征， 所述第二图像特征为所述第二特征图对应的 图像特征； 根据所述初始特征匹配对和所述尺度比例预测信 息， 对所述第 二特征图像对进行尺度 对齐以及特 征的细粒度匹配处 理， 得到所述图像对的目标 特征匹配对。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述第 一特征图和所述第 二特征图 对进行特征的粗粒度匹配处 理， 得到初始特 征匹配对， 包括： 确定所述第一特征图中的每个第一图像特征与所述第二特征图中的全部第二图像特 征的第一匹配度信息， 以及所述第二特征图中每个第二图像特征与所述第一特征图中的全 部第一图像特 征的第二匹配度信息； 基于所述第一匹配度信息和所述第二匹配度信息对所述第一特征图和所述第二特征 图进行特征匹配处 理， 得到所述初始特 征匹配对； 所述初始特 征匹配对 满足匹配度阈值。 3.根据权利要求2所述的方法， 其特征在于， 所述粗粒度匹配处理基于粗粒度匹配模型 进行， 所述粗粒度匹配模型包括第一 目标特征交互模型； 所述确定所述第一特征图中的每 个第一图像特征与所述第二特征图中的全部第二图像特征的第一匹配度信息， 以及所述第 二特征图中每个第二图像特征与所述第一特征图中的全部第一图像特征的第二匹配度信 息， 包括： 基于所述第一目标特征交互模型对所述第一特征图和所述第二特征图进行特征交互 处理， 得到第一交 互特征图和第二交 互特征图； 对所述第一交互特征图和所述第二交互特征图进行点积处理， 得到二维矩阵， 所述二 维矩阵的两个维度表征所述第一交互特征图的第一交互特征以及所述第二交互特征图的 第二交互特征； 分别从所述两个维度对所述二维矩阵进行特征匹配预测处理， 得到所述第 一匹配度信 息和所述第二匹配度信息 。 4.根据权利要求2或3所述的方法， 其特征在于， 所述基于所述第一匹配度信息和所述 第二匹配度信息对所述第一特征图和所述第二特征图进行特征匹配处理， 得到所述初始特 征匹配对， 包括： 分别从所述第一匹配度信息和所述第二匹配度信息中筛选出满足匹配度阈值的第一 目标匹配度信息和第二目标匹配度信息； 基于所述第一目标匹配度信息， 确定第一特 征匹配对； 基于所述第二目标匹配度信息， 确定第二特 征匹配对； 确定所述第一特征匹配对中第二目标图像特征与第一目标图像特征的第一数量占比 信息， 以及所述第二特征匹配对中第一目标图像特征与第二目标图像特征的第二数量占比权　利　要　求　书 1/3 页 2 CN 115115858 A 2信息； 根据目标占比信息对应的特征匹配对， 得到所述初始特征匹配对； 所述目标占比信息 为所述第一数量占比信息和所述第二数量占比信息中较高的。 5.根据权利要求4所述的方法， 其特征在于， 所述对所述第 一特征图和所述第 二特征图 对进行特征的粗粒度匹配处 理， 得到所述图像对的尺度比例预测信息， 包括： 确定所述第 一数量占比信 息与所述第 二数量占比信 息的第一比值， 以及所述第 二数量 占比信息与所述第一数量占比信息的第二比值； 将所述第一比值和所述第二比值中较大的， 作为所述尺度比例预测信息 。 6.根据权利要求4所述的方法， 其特征在于， 根据目标占比信息对应的特征匹配对， 得 到所述初始特 征匹配对， 包括： 基于匹配区域预测模型对所述目标占比信 息对应的特征匹配对进行过滤处理， 得到所 述初始特 征匹配对。 7.根据权利要求3、 5 ‑6任一项所述的方法， 其特征在于， 所述基于第一目标特征交互模 型对所述第一特征图和所述第二特征图进 行特征交互处理， 得到第一交互特征图和第二交 互特征图， 包括： 将所述第一特征图和所述第 二特征图输入第 一特征交互模型， 进行特征内部和特征间 的交互处理， 得到第三交 互特征图和第四交 互特征图； 获取第一 查询特征和第二 查询特征； 基于第二特征交互模型分别对所述第 一查询特征和所述第 三交互特征图、 所述第 二查 询特征和所述第四交互特征图， 进行特征交互处理， 得到第 五交互特征图和第六交互特征 图； 将所述第五交互特征图和所述第六交互特征图输入第 三特征交互模型， 进行特征内部 和特征间的交 互处理， 得到所述第一交 互特征图和所述第二交 互特征图。 8.根据权利要求7所述的方法， 其特征在于， 所述根据所述初始特征匹配对和所述尺度 比例预测信息， 对所述第二特征图像对进行尺度对齐以及特征的细粒度匹配处理， 得到所 述图像对的目标 特征匹配对， 包括： 根据所述初始特征匹配对， 从所述第二特征图像对中裁剪特征图像块， 得到第一特征 块和第二特 征块； 利用所述尺度比例预测信息对所述第一特征块进行尺度对齐处理， 得到第三特征块； 所述第一特征块对应于所述图像对中的第一图像， 所述第一图像的尺度大于第二图像的尺 度， 所述第二图像为所述图像对中除第一图像之外的图像； 基于细粒度匹配模型的第二目标特征交互模型对所述第三特征块和所述第二特征块 进行特征交互处理， 得到第四特 征块和第五特 征块； 对所述第五特 征块的中心特 征与所述第四特 征块的进行相关性处 理， 得到特 征热图； 基于所述特 征热图， 获取 所述目标 特征匹配对。 9.根据权利要求8所述的方法， 其特 征在于， 所述方法还 包括： 获取多个样本图像对、 标签信息和基本矩阵； 所述标签信 息表征粗粒度匹配对、 细粒度 匹配对和可匹配掩码； 每个样本图像对中的两个样本图像为同一对象在不同视角下的图 像；权　利　要　求　书 2/3 页 3 CN 115115858 A 3