(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210923569.X (22)申请日 2022.08.02 (71)申请人 山东交通学院 地址 250000 山东省济南市交校路5号 申请人 山东师范大学 (72)发明人 张超　吴爽　殷冠羿　 (74)专利代理 机构 武汉红观 专利代理事务所 (普通合伙) 42247 专利代理师 曾国辉 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/26(2022.01) G06V 10/74(2022.01)G06V 10/44(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于融合局部特征的卷积神经网络遥 感目标匹配方法 (57)摘要 本发明提出了一种基于融合局部特征的卷 积神经网络遥感目标匹配方法， 与基于整体图像 的CNN特征相比， 在区域级别提取的CNN特征在识 别部分匹配图像之间的小的类似区域时具有更 高的鲁棒性和灵活性， 通过潜在的匹配区域对生 成步骤， 可以准确地匹配图像之间的匹配区域 对， 这使得从这些区域提取的CNN特征对于部分 重复图像匹配更具鲁棒性， 这是因为基于粗分区 中的区域建议模型高效地匹配图像之间的局部 特征， 以选择少量排名靠前的候选图像， 这可 以 大大缩小部分重复图像目标检测范围； 由于充分 利用了SIFT特征的良好鲁棒性和CNN特征的高分 辨能力， 本方案可以实现较为精确的匹配 。 权利要求书2页 说明书6页 附图5页 CN 115205649 A 2022.10.18 CN 115205649 A 1.一种基于融合局部特征的卷积神经网络遥感目标匹配方法， 其特征在于， 包括以下 步骤： S1、 获取参 考影像和待匹配 影像； S2、 对参考影像和待匹配 影像进行预处理； S3、 最大长度痕迹生成树算法对预处理后的参考影像和待匹配影像分别进行区域划 分， 得到参 考影像和待匹配 影像的多个划片图像； S4、 分割算法分割划片图像， 得到参 考影像和待匹配 影像的多个候选区； S5、 通过CNN的区域选择算法， 生成各个候选区中的区域建议， 并基于相似度对参考影 像和待匹配 影像的候选区分别进行整合； S6、 采用局部特 征的匹配 检测算子， 在步骤S5合并后的各候选区内提取SIFT特 征； S7、 在候选区上定位检测到的区域建议的潜在副本， 仅保留具有最多SIFT特征的前K区 域建议的候选区； S8、 预训练的卷积神经网络对步骤S6中保留的候选区提取图像特征， 获得多尺度卷积 特征； S9、 从CNN最后一个卷积层的激活中提取各候选区的快速CNN特征， 然后将快速CNN特征 通过相似度匹配算法对参考影像和待匹配影像的候选区进 行匹配， 以度量参考影像和待匹 配影像的相似度； S10、 通过RANSAC算法对参考影像和待匹配影像各候选区的多尺度卷积特征进行组合 运算， 并配合快速CNN特征之间的几何约束性对 所得匹配结果剔除错误匹配对， 获得最 终匹 配结果。 2.如权利要求1所述的基于融合局部特征的卷积神经网络遥感目标匹配方法， 其特征 在于， 获取到的所述 参考影像和待匹配 影像由互联网数据集下 载或者无 人机拍摄获取。 3.如权利要求1所述的基于融合局部特征的卷积神经网络遥感目标匹配方法， 其特征 在于， 步骤S2中所述预处 理包括格式的转换、 尺寸的剪 裁、 数据的标注以及数据增强。 4.如权利要求1所述的基于融合局部特征的卷积神经网络遥感目标匹配方法， 其特征 在于， 步骤S3中所述 最大长度痕迹生成树 算法具体包括以下步骤： S31、 轮廓提取算法提取影 像多个最长痕迹线条； S32、 根据线条端点距离边界 的距离和线条长度找到一个最长痕迹线条作为Main  root 树枝； S33、 通过法线探测 和切线延长方法生成一个最大生成痕迹树； S34、 通过最大生成痕迹树将影 像进行粗分区， 形成若干个划片图像。 5.如权利要求4所述的基于融合局部特征的卷积神经网络遥感目标匹配方法， 其特征 在于， 通过GenTre e算法进行步骤S3 3所述法线探测 和切线延长， 具体步骤为： S331、 找到靠近Main root树枝的最长痕迹线条端点； S332、 以靠近Main  root树枝的最长痕迹线条端点为圆心画圆， 直至与Main  root树枝 相切， 形成切点； S333、 连接靠近Main  root树枝的端点与Main  root树枝上形成的切点， 形成中间生成 树； S334、 将剩余最长痕迹线条靠近中间生成树的一端作为圆心画圆， 在中间生成树上形权　利　要　求　书 1/2 页 2 CN 115205649 A 2成切点， 并将端点与切点连接， 形成新的中间生成树； S335、 重复步骤S3 34直至不存在孤立的最长痕迹线条， 得到最大生成痕迹树； S336、 将组成最大痕迹生成树的最长痕迹线条另一端点进行切线延长， 直至图片的边 缘。 6.如权利要求1所述的基于融合局部特征的卷积神经网络遥感目标匹配方法， 其特征 在于， 步骤S5中所述区域选择算法为选择性搜索算法， 步所述骤S5包括以下子步骤： S51、 选择性搜索算法将步骤S4中的候选区作为输入， 得到目标候选区建议框的集 合； S52、 将所有候选区的建议框集 合添加至候选区域列表中； S53、 基于相似度对候选区进行合并， 并将合并后的候选区作为 一个新的候选区。 7.如权利要求1所述的基于融合局部特征的卷积神经网络遥感目标匹配方法， 其特征 在于， 步骤S 8中所述预训练的卷积神经网络为VG G16网络。 8.如权利要求7所述的基于融合局部特征的卷积神经网络遥感目标匹配方法， 其特征 在于， 所述VG G16网络中的第五阶段 卷积操作为X‑卷积。 9.如权利要求8所述的基于融合局部特征的卷积神经网络遥感目标匹配方法， 其特征 在于， 所述X ‑卷积的具体步骤为： S81、 采用3*3的卷积模板， 在5*5的图像中， 每 间隔一个滑动窗口进行一次卷积， 得到一 个卷积结果单 元； S82、 对于略过的滑动窗口， 在最终的卷积矩阵中， 将形成没有空白的卷积结果单元， 找 到数值最小的卷积结果单元， 对于相邻最小卷积结果单元 的空白卷积结果单元， 计算最小 卷积结果单元与空白卷积结果单元直接相 邻的卷积结果单元的平均值， 并将得到的数值填 入此空白卷积结果单 元； S83、 将剩下的空白卷积结果单 元的邻居单 元中最小数值 填入空白卷积结果单 元。 10.如权利要求1所述的基于 融合局部特征的卷积神经网络遥感 目标匹配方法， 其特征 在于， 步骤S9 中所述相似度匹配算法基于匹配概率η(m)和不匹配概率η(nm)的差异来定义 候选区相似度， 表示待匹配影像中的第a个候选区与参考影像中的 第b个候选区的最大差异， 该定义满足 R是比率阈值， 设定为0.7。权　利　要　求　书 2/2 页 3 CN 115205649 A 3