(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211386364.9 (22)申请日 2022.11.07 (71)申请人 佳木斯大 学 地址 154007 黑龙江省佳木斯市向阳区学 府街258号佳木斯大 学 (72)发明人 刘晓敏　袁东华　赵化启　赵润淇　 程岩　田静　王磊　 (74)专利代理 机构 哈尔滨市松花江专利商标事 务所 23109 专利代理师 刘强 (51)Int.Cl. G06V 10/75(2022.01) G06V 10/24(2022.01) G06V 10/82(2022.01) G06V 20/13(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于关键点响应约束的点匹配方法 (57)摘要 基于关键点响应约束的点匹配方法， 涉及图 像匹配技术领域， 针对现有技术中目标定位准确 率低的问题， 本申请方法较传统方法定位准确率 提高了7％， 其中， 本申请使用多损失约束的自编 码器进行图像对齐， 通过分析自编码器的不同损 失函数的作用， 使得两幅图像中目标同名像素间 的相似性最小， 最终的定位准确率比其他方法提 高2％； 本申请将关键点响应函数用作损失约束 对卷积神经网络进行优化， 在仿真实验中与现有 点匹配方法进行比较， 匹配的准确率提高2％； 本 申请通过使用相位一致性理论生成图像的相位 信息， 通过相位信息进行二进制编码构成相位一 致性关键点响应函数， 提出关键点响应约束的点 匹配方法， 匹配的准确率 提高4％。 权利要求书3页 说明书16页 附图11页 CN 115546521 A 2022.12.30 CN 115546521 A 1.基于关键点响应约束的点匹配方法， 其特 征在于包括以下步骤： 步骤一： 获取卫星目标图像以及机载 下视参考图像； 步骤二： 分别对卫星目标图像和机载下视参考图像进行灰度对齐， 得到一致性对齐图 像； 步骤三： 基于一 致性对齐图像， 利用相位 一致性原理生成相位 一致性关键点响应； 步骤四： 利用相位一致性关键点响应作为损失约束优化卷积神经网络， 得到检测网络， 所述检测网络包括关键点检测器和特 征描述算子； 步骤五： 将待检测的卫星目标图像和机载下视参考图像输入检测网络， 得到关键点和 每个关键点的特 征描述算子； 步骤六： 根据每 个关键点的特 征描述算子进行相似性计算， 得到一 致性点集图像。 2.根据权利要求1所述的基于关键点响应约束的点匹配方法， 其特征在于所述步骤二 的具体步骤为： 步骤二一： 分别在卫星目标图像以及机载 下视参考图像中随机 选取多个训练块； 步骤二二： 利用步骤二一中得到的训练块训练自编码器卷积神经网络模型， 所述自编 码器卷积神经网络模型的损失函数表示 为： 其中， 为综合性损失函数， πrc、 πcc、 πwt和 πz为权重， 为重构损失函数， 为 环状一致性损失函数， 为加权变换损失函数， 为代码相关性损失函数； 步骤二三： 将卫星目标图像和机载下视参考图像作为输入， 利用训练好的自编码器卷 积神经网络模型得到三组灰度 投影图像， 所述三组灰度 投影图像包括： 一组编码一致性投 影图像、 一组重构一 致性投影图像以及一组循环一 致性投影图像； 步骤二四： 将步骤二 三中得到的灰度投影图像进行加权融合， 得到一 致性对齐图像。 3.根据权利要求2所述的基于关键点响应约束的点匹配方法， 其特征在于所述训练块 为170*170像素。 4.根据权利要求2所述的基于关键点响应约束的点匹配方法， 其特征在于所述重构损 失函数表示 为： 其中， 为重构损失函数， 为目标图像在T变换域中的损失， 为参考图像在R变 换域中的损失， d为两幅图像变换前后的特征相似性， 为解码器转换后目标图像， T为原始 目标图像， 为解码器转换后参 考图像， R为原 始图像。 5.根据权利要求4所述的基于关键点响应约束的点匹配方法， 其特征在于所述环状一 致性损失函数表示 为： 其中， 为环状一致性损失函数， 为X域和Y域交叉编码解码后的目标图像， 为Y 域和X域交叉编码解码后的参 考图像。 6.根据权利要求5所述的基于关键点响应约束的点匹配方法， 其特征在于所述加权变 换损失函数表示 为：权　利　要　求　书 1/3 页 2 CN 115546521 A 2其中， 为加权变换损失函数， w 为计算两幅图像相似性的权 重。 7.根据权利要求6所述的基于关键点响应约束的点匹配方法， 其特征在于所述代码相 关性损失函数表示 为： 其中， 为代码相关性损失函数， CR为编码相关矩阵， S为与d相关的相似性距离 。 8.根据权利要求7所述的基于关键点响应约束的点匹配方法， 其特征在于所述步骤四 二中融合表示 为： Xn＝ λ1×xc+λ2×xr+(1‑λ1‑λ2)×xcr Yn＝ λ1×yc+λ2×yr+(1‑λ1‑λ2)×ycr 其中， λ1和 λ2为生成的输入图像的权重比率， xc为目标图像编码一致性投影， xr为目标图 像重构一致性投影， xcr为目标图像循环一致性投影， Xn和Yn为生成的一致性对齐图像， yc为 参考图像编码一 致性投影， yr为参考图像重构一 致性投影， ycr为参考图像循环一致性投影。 9.根据权利要求8所述的基于关键点响应约束的点匹配方法， 其特征在于所述步骤中 使用相位 一致性原理生成相位 一致性关键点响应表示 为： 二进制编码PC CODEj(l,n)表示 为： 其中， 为相位一致性关键点响应， L为选择的尺度个数， N为选择的角度个数， J为 同一个目标在不同场景图像个数， PC(l,n)为图像中(l,n)位置的相位一致性值， PC(l,n ‑1) 为图像中(l,n ‑1)位置的相位 一致性值， ε为给定的阈值。 10.根据权利要求9所述的基于关键点响应约束的点匹配方法， 其特征在于所述步骤四 的具体步骤为： 将相位一致性关键点响应作为卷积神经网络的损 失约束， 优化卷积神经网络， 所述卷 积神经网络包括关键点检测器和特 征描述算子； 所述卷积神经网络的损失为： 其中， Lt为卷积神经网络的损失， Y为原图像， 为卷积图像， O为关键点响应图像， 为 全卷积神经网络交叉熵计算， 为描述算子损失， 为灰度空间归一化交叉熵计算，权　利　要　求　书 2/3 页 3 CN 115546521 A 3