(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210558126.5 (22)申请日 2022.05.19 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 申请人 上海华为技术有限公司 (72)发明人 傅禹杰　唐付林　吴毅红　刘蒙　 段光菲　郑淇　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 李文清 (51)Int.Cl. G06T 7/70(2017.01) G06V 10/74(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 相机位姿估计方法、 装置、 电子设备和存储 介质 (57)摘要 本发明提供一种相机位姿估计方法、 装置、 电子设备和存储介质， 其中方法包括： 确定第一 图像和第二图像； 对第一图像和第二图像分别进 行特征提取， 并基于特征提取所得的第一稀 疏特 征和第二稀 疏特征， 确定第一图像和第二图像 之 间的稀疏特征匹配集合； 基于稠密匹配网络， 对 第一图像和第二图像进行稠密特征匹配， 得到第 一图像和第二图像 之间的稠密特征匹配集合； 基 于稀疏特征匹配集合以及稠密特征匹配集合， 确 定第一图像和第二图像 之间的相机位姿， 解决了 传统方案中在光照和视角剧烈变化的情况下， 相 机位姿的估计准确性和可靠性较差的问题， 通过 特征匹配和特征融合， 在两幅图像 之间建立充足 的正确匹配， 实现了相机位姿估计的精确度和准 确度的双重提升 。 权利要求书2页 说明书18页 附图5页 CN 115496797 A 2022.12.20 CN 115496797 A 1.一种相机位姿估计方法， 其特 征在于， 包括： 确定第一图像和第二图像； 对所述第一图像和所述第 二图像分别进行特征提取， 并基于特征提取所得的第 一稀疏 特征和第二稀疏 特征， 确定所述第一图像和所述第二图像之间的稀疏 特征匹配集 合； 基于稠密匹配网络， 对所述第一图像和所述第二图像进行稠密特征匹配， 得到所述第 一图像和所述第二图像之间的稠密特 征匹配集 合； 基于所述稀疏特征匹配集合， 以及所述稠密特征匹配集合， 确定所述第一图像和所述 第二图像之间的相机位姿； 所述稠密匹配网络基于样本第一图像， 样本第二图像， 以及所述样本第一图像和所述 样本第二图像之间的样本稠密特 征匹配集 合训练得到 。 2.根据权利要求1所述的相机位姿估计方法， 其特征在于， 所述基于所述稀疏特征匹配 集合， 以及所述稠 密特征匹配集合， 确定所述第一图像和所述第二图像之 间的相机位姿， 包 括： 对所述稀疏特征匹配集合和所述稠密特征匹配集合进行融合， 得到总体特征匹配集 合； 对所述总体特征匹配集合进行错误匹配剔除， 并基于错误匹配剔除后的总体特征匹配 集合， 确定所述第一图像和所述第二图像之间的相机位姿。 3.根据权利要求1所述的相机位姿估计方法， 其特征在于， 所述稠密匹配网络包括多尺 度特征提取层、 相似度判决层以及稠密特 征匹配层； 其中， 所述多尺度特征提取层用于对所述第 一图像和所述第 二图像分别进行多尺度 特 征提取， 得到所述第一图像的第一特 征图集合和所述第二图像的第二特 征图集合； 所述相似度判决层用于确定所述第 一特征图集合中的第 一尺度特征图， 与 所述第二特 征图集合中的第一尺度特 征图之间的第一相似度； 所述稠密特征匹配层用于基于所述第一相似度， 以及第二相似度， 确定所述第一图像 和所述第二图像之 间的稠密特征匹配集合， 所述第二相似度为所述第一特征图集合中的第 二尺度特 征图， 与所述第二特 征图集合中的第二尺度特 征图之间的相似度。 4.根据权利要求3所述的相机位姿估计方法， 其特征在于， 所述第 一相似度基于如下步 骤确定： 确定所述第 一特征图集合中的第 一尺度特征图， 与第 二特征图集合中的第 一尺度特征 图之间的初始相似度； 基于预设清洗方式， 对所述初始相似度进行数据清洗， 得到所述第一特征图集合中的 第一尺度特 征图， 与第二特 征图集合中的第一尺度特 征图之间的第一相似度； 所述预设清洗方式包括 最近邻域滤波法和/或邻域 一致滤波法。 5.根据权利要求3所述的相机位姿估计方法， 其特征在于， 所述基于所述第一相似度， 以及第二相似度， 确定所述第一图像和所述第二图像之间的稠密特 征匹配集 合， 包括： 基于所述第 二相似度， 确定所述第 一特征图集合中的第 二尺度特征图中的各描述子向 量， 与所述第二特 征图集合中的第二尺度特 征图之间的第二匹配得分图； 基于所述第 一相似度， 通过双线性插值确定所述第 一特征图集合中的第 二尺度特征图 中的各描述子向量， 与所述第二特 征图集合中的第一尺度特 征图之间的第一匹配得分图；权　利　要　求　书 1/2 页 2 CN 115496797 A 2基于所述第一匹配得分图， 以及所述第二匹配得分图， 确定所述第一图像和所述第二 图像之间的稠密特 征匹配集 合。 6.根据权利要求5所述的相机位姿估计方法， 其特征在于， 所述基于所述第一相似度， 通过双线性插值确定所述第一特征图集合中的第二尺度特征图中的各描述子向量， 与所述 第二特征图集合中的第一尺度特 征图之间的第一匹配得分图， 包括： 基于所述第 一相似度， 通过双线性插值获取所述第 一特征图集合中的第 二尺度特征图 中的各描述子向量， 与所述第二特 征图集合中的第一尺度特 征图之间的描述相似度； 基于所述描述相似度， 确定所述第 一特征图集合中的第 二尺度特征图中的各描述子向 量， 与所述第二特 征图集合中的第一尺度特 征图之间的第一匹配得分图。 7.根据权利要求5所述的相机位姿估计方法， 其特征在于， 所述基于所述第 一匹配得分 图， 以及所述第二匹配得分图， 确定所述第一图像和所述第二图像之间的稠密特征匹配集 合， 包括： 对所述第一匹配得分图进行上采样， 并基于上采样后的第一匹配得分图， 以及所述第 二匹配得分图， 确定目标匹配得分图； 基于所述目标匹配得分图， 确定所述第 一图像和所述第 二图像之间的稠密特征匹配集 合。 8.一种相机位姿估计装置， 其特 征在于， 包括： 图像确定单 元， 用于确定第一图像和第二图像； 稀疏特征匹配单元， 用于对所述第一图像和所述第二图像分别进行特征提取， 并基于 特征提取所得的第一稀疏特征和 第二稀疏特征， 确定所述第一图像和所述第二图像之 间的 稀疏特征匹配集 合； 稠密特征匹配单元， 用于基于稠密匹配网络， 对所述第一图像和所述第二图像进行稠 密特征匹配， 得到所述第一图像和所述第二图像之间的稠密特征匹配集合； 所述稠密 匹配 网络基于样本第一图像， 样本第二图像， 以及所述样本第一图像和所述样本第二图像之间 的样本稠密特 征匹配集 合训练得到； 相机位姿估计单元， 用于基于所述稀疏特征匹配集合， 以及所述稠密特征匹配集合， 确 定所述第一图像和所述第二图像之间的相机位姿。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所 述的相机位姿估计方法。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处 理器执行时实现如权利要求1至7任一项所述的相机位姿估计方法。权　利　要　求　书 2/2 页 3 CN 115496797 A 3