(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211125537.1 (22)申请日 2022.09.16 (71)申请人 哈尔滨工程大 学 地址 150001 黑龙江省哈尔滨市南岗区南 通大街145号 (72)发明人 卞红雨　张锋　刘雨希　王佳峰　 (74)专利代理 机构 哈尔滨奥博专利代理事务所 (普通合伙) 23220 专利代理师 桑林艳 (51)Int.Cl. G06V 10/75(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种结合对比学习思想的水下地形图像模 板匹配方法 (57)摘要 本发明涉及一种结合对比学习思想的水下 地形图像模板匹配方法， 属于 数字图像处理技术 领域， 所述一种结合对比学习思想的水下地形图 像模板匹配方法是通过如下步骤实现的； 步骤 一、 对输入数据进行视图数据增强； 步骤二、 将步 骤一中增强的数据进行特征提取； 步骤三、 将步 骤二中提取的特征进行样本提取； 步骤四、 将步 骤三中提取出的样本特征进行融合； 步骤五、 将 步骤四中融合后的特征进行模型优化。 本装置可 以解决以自监督的形式实现端到端的训练， 而不 需要额外的数据标注， 正负样 本对比的形式可以 提高对干扰目标的判别能力的问题， 进而提出一 种结合对比学习思想的水下地形图像模板匹配 方法。 权利要求书1页 说明书5页 附图1页 CN 115496926 A 2022.12.20 CN 115496926 A 1.一种结合对比学习思想的水下地形图像模板匹配方法， 其特征在于： 所述一种结合 对比学习思想的水 下地形图像模板匹配方法是通过如下步骤实现的； 步骤一、 对输入数据进行视图数据增强； 步骤二、 将步骤一中增强的数据进行 特征提取； 步骤三、 将步骤二中提取的特 征进行样本提取； 步骤四、 将步骤三中提取 出的样本特 征进行融合； 步骤五、 将步骤四中 融合后的特 征进行模型优化。 2.根据权利要求1所述的一种结合对比学习思想的水下地形图像模板匹配方法， 其特 征在于： 步骤一中通过调整高斯噪声方差及地形模型分辨率进行数据增强， 水下地形图像 直接作为模型输入， 并将 每张水下地形图像经过两次 随机数据增强后生成两张对应变体图 像。 3.根据权利要求1所述的一种结合对比学习思想的水下地形图像模板匹配方法， 其特 征在于： 步骤二中采用卷积神经网络作为特征提取网络骨干， 通过双塔分支特征网络进行 特征提取， 双塔特征网络之间共享特征参数， 生成的两张变体图像分别通过双塔分支特征 网络进行 特征提取， 并分别生成两组特 征图。 4.根据权利要求1所述的一种结合对比学习思想的水下地形图像模板匹配方法， 其特 征在于： 步骤三中样本提取基于面片进行， 通过对两组特征图以滑动窗口的形式获取两组 与窗口同等大小的面片集合， 其中， 两组特征图对应位置上的面片互为正样 本， 不对应位置 的面片则互为负 样本， 通过加入 掩码进行多尺寸样本的提取。 5.根据权利要求1所述的一种结合对比学习思想的水下地形图像模板匹配方法， 其特 征在于： 步骤四中特征融合基于注意力机制进行， 通过选取面片的中心位置特征与面片 中 的所有位置特征经过与变量矩阵对应元素相乘后分别生成查询矩阵、 键值矩阵和值矩阵， 再查询矩阵与键值矩阵进行相似度计算生成权重矩阵， 将权重矩阵与值矩阵对应元素相 乘， 并将所有元 素相加， 生成维度为1 ×1×N的融合向量， N 为特征向量的通道数量。 6.根据权利要求1所述的一种结合对比学习思想的水下地形图像模板匹配方法， 其特 征在于： 步骤五中模型优化是通过如下步骤实现的； 步骤i、 将两组融合向量进行余弦相似度计算 生成相似度矩阵； 步骤ii、 通过损失函数进行损失值计算； 步骤iii、 通过小批量随机梯度下降法进行梯度回传； 步骤iv、 通过损失函数最大化 正样本对的相似度值， 最小化负 样本对的相似度值。权　利　要　求　书 1/1 页 2 CN 115496926 A 2一种结合对比学习思想的水下地形图像模板匹配方 法 技术领域 [0001]本发明涉及 一种结合对比学习思想的水下地形图像模板匹配方法， 属于数字图像 处理技术领域。 背景技术 [0002]水下地形图像匹配在水下地形变化监测， 水下地形辅助定位导航等领域发挥着重 要作用。 尽管过去几十年里， 图像匹配作为计算机视觉的核心任务已取得了长足的发展， 而 针对水下地形图像的处理仍然 是一项具有挑战性的任务。 由于绝大多 数水下地形在大尺度 观测下呈现出平缓变化的趋势， 从而导致在水下地形图像中局部自相似度较高， 缺少 显著 的点特征， 而更多的表现出区域的弱纹理特性， 且地形特征 的非结构特性使得水下地形图 像中常常存在无法清晰界定目标边界的情况。 此外， 受传感器 自身误差、 环境噪声、 载体不 规则运动以及多次测 量间时空差异的影响， 采集的原始高程数据难免存在异常， 从而导致 地形图像间不可避免的存在强度及纹理差异， 而针对噪声进 行处理的简单的滤波过程会导 致部分真实细节的丢失， 从而引入新的噪声污染。 面对水下地形图像内在特征的特殊性， 以 及由于复杂环境引起的强度和纹理的差异性， 如何有效提高匹配的性能成为我们关注的重 点。 [0003]图像匹配主要包括基于特征和基于模板的方法， 由于水下地形图像的外观复杂 性， 基于特征的匹配方法常常由于无法提取稳定且 可重复的特征而难以单独应用， 因此， 我 们将重点关注基于模板匹配的方法。 在传统的模板匹配方法中， 归一化互相关(NCC)和平方 差和(SSD)直接利用模板和搜索窗口间的灰度值来计算二者的匹配程度， 因此对噪声和强 度值变化 非常敏感。 可变形多样性相似度(DDIS)则通过对模板与目标窗口之间点的最近邻 匹配的多样性来表达他们之 间的相似程度， 但是基于像素点的匹配方式对 水下地形图像的 灰度值变化较为敏感， 当匹配图像之间强度值差异较大时候， 将无法提供准确的匹配结果。 基于共现的模板匹配(CoTM)提出一种通过量化像素对共同出现频率的相似度度量方法， 来 代替对像素值之间强度差的直接量化方式， 然而该方法在灰度图像中效果较差。 质量感知 模板匹配(QATM)则使用匹配对的之间的匹配质量进 行软排名来量化匹配对的独特性， 从而 提高匹配性能， 但该方法的使用严重依赖于提取特征 的可区分程度， 因此当搜索图像的自 相似度较高时， 该 方法的性能将出现下降。 发明内容 [0004]本发明解决水下地形图像由于内在特征的特殊性， 以及复杂环境引起的强度和纹 理的差异性而导致的匹配困难的问题， 进而提出一种结合对比学习思想的水下地形图像模 板匹配方法 [0005]本发明为解决上述问题采取的技术方案是： 本发明所述一种结合对比学习思想的 水下地形图像模板匹配方法是通过如下步骤实现的； [0006]步骤一、 对输入数据进行视图数据增强；说　明　书 1/5 页 3 CN 115496926 A 3