(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211056739.5 (22)申请日 2022.08.31 (71)申请人 浙江未来 技术研究院 （嘉兴） 地址 314000 浙江省嘉兴 市南湖区汇信路 152号 (72)发明人 夏晗　邵航　林浩哲　高坤　 (74)专利代理 机构 北京华清迪源知识产权代理 有限公司 1 1577 专利代理师 孙志一 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01) G06V 10/42(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于自注意力机制的跨尺度图像匹配 方法及系统 (57)摘要 本发明公开了一种基于自注意力机制的跨 尺度图像匹配方法及系统， 所述方法包括： 获取 全局场景图像和多个局部细 节图像； 使用基于自 注意力机制的深度学习模型对所述局部细节 图 像进行多尺度特征提取得到特征图并获取关键 点， 以及对 所述全局场景图像进行多尺度特征提 取得到特征图； 将全局场景图像特征图的所有特 征点与局部细节 图像的关键点进行特征互相关 匹配， 计算相关性； 根据计算的相关性结果， 确定 局部细节 图像关键点在全局场景图像特征图中 的匹配点， 并根据匹配关系推导出单应矩阵。 采 用基于自注 意力机制的跨尺度的图像匹配算法， 可实现智能化的检测局部图像相对于全局图像 的位置以及转换矩阵。 权利要求书2页 说明书5页 附图4页 CN 115331030 A 2022.11.11 CN 115331030 A 1.一种基于自注意力机制的跨尺度图像匹配方法， 其特 征在于， 所述方法包括： 获取全局场景图像和多个局部细节图像； 使用基于自注意力机制的深度学习模型对所述局部细节图像进行多尺度特征提取得 到特征图并获取关键点， 以及对所述全局场景图像进行多尺度特 征提取得到特征图； 将全局场景图像特征图的所有特征点与局部细节图像的关键点进行特征互相关匹配， 计算相关性； 根据计算的相关性结果， 确定局部细节图像关键点在全局场景图像特征图中的匹配 点， 并根据匹配关系推导出 单应矩阵。 2.根据权利要求1所述的一种基于自注意力 机制的跨尺度图像匹配方法， 其特征在于， 获取全局场景图像和多个局部细节图像， 具体包括： 通过全局相机获取全局场景图像， 通过多个局部相机分别获取多个局部细节图像， 所 述全局相机的水平视场角为5 0°～60°， 所述局部相机的水平视场角10 °～15°。 3.根据权利要求1所述的一种基于自注意力 机制的跨尺度图像匹配方法， 其特征在于， 所述基于自注意力机制的深度学习模型采用U型网络结构， 具体用于， 首先通过转移窗口注 意力机制模块Swin ‑Transfomer  Block以及块扩展模块Patch  Expanding上采样到与输入 图像维度相同的第一特征图； 然后进一步结合转移窗口注 意力机制模块、 块融合模块Patch   Merge以及块扩展模块Patc h Expanding， 得到更加深层次的第二特 征图。 4.根据权利要求3所述的一种基于自注意力 机制的跨尺度图像匹配方法， 其特征在于， 所述方法还 包括： 将得到的局部细节图像的第一特征图和第二特征图结合利用全连接网络获取局部细 节图像的关键点。 5.根据权利要求4所述的一种基于自注意力 机制的跨尺度图像匹配方法， 其特征在于， 将全局场景图像特征图的所有 特征点与局部细节图像的关键点进 行特征互相关匹配， 计算 相关性， 具体包括： 相关性计算公式如下： 其中， (XL， YL)为局部细节图像的关键点位置坐标， (XG， YG)为全局场 景图像的特征点位 置坐标， FL1为局部细节图像的第一特征图， FL2为局部细节图像的第二特征图， FG1为全局场 景图像的第一特 征图， FG2为全局场景图像的第二特 征图， ω1、 ω2为权重系数。 6.一种基于自注意力机制的跨尺度图像匹配系统， 其特 征在于， 所述系统包括： 图像采集模块， 用于获取全局场景图像和多个局部细节图像； 特征提取模块， 用于使用基于自注意力 机制的深度 学习模型对所述局部细节图像进行 多尺度特征提取得到特征图并获取关键点， 以及对所述全局场景图像进 行多尺度特征提取权　利　要　求　书 1/2 页 2 CN 115331030 A 2得到特征图； 相关性计算模块， 用于将全局场景图像特征图的所有特征点与局部细节图像的关键点 进行特征互相关匹配， 计算相关性； 匹配模块， 用于根据计算的相关性结果， 确定局部细节图像关键点在全局场景图像特 征图中的匹配点， 并根据匹配关系推导出 单应矩阵。 7.根据权利要求6所述的一种基于自注意力 机制的跨尺度图像匹配系统， 其特征在于， 所述图像采集模块， 具体用于： 通过全局相机获取全局场景图像， 通过多个局部相机分别获取多个局部细节图像， 所 述全局相机的水平视场角为5 0°～60°， 所述局部相机的水平视场角10 °～15°。 8.一种计算机存储介质， 其特征在于， 所述计算机存储介质中包含一个或多个程序指 令， 所述一个或多个程序指令用于被一种基于自注意力机制的跨尺度图像匹配系统执行如 权利要求1 ‑5中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115331030 A 3