(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210838979.4 (22)申请日 2022.07.18 (71)申请人 中国人民解 放军陆军 军事交通学院 军事交通运输研究所 地址 300361 天津市河东区万 东路８ ４ 号院 (72)发明人 赵凯　徐友春　朱愿　潘世举　 李华　王任栋　苏致远　 (74)专利代理 机构 天津市三利专利商标代理有 限公司 12107 专利代理师 闫俊芬 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/75(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于二分图和图注意力机制的模板匹配系 统及匹配方法 (57)摘要 本发明涉及一种基于二分图和图注意力机 制的模板匹配方法， 其特征是： 构建MLF网络模 块， 用于提取模板图像和搜索图像的融合特征； 构建BGAM网络模块， 用于编码 模板节点与搜索 节 点的关系， 并为每个搜索 节点和模板节点聚合相 应的局部信息， 生成定位模板的响应图； 系统， 包 括网络构建模块、 学习 与预训练模块和计算与定 位模块。 有益效果： 本发明实现了模板图像和搜 索图像间局部到局部的信息传递， MLF网络模块 通过融合目标不同层次表征意义的特征， 提升了 对模板目标的表示能力。 本方法在众多实际的复 杂场景中都可以准确稳定的实现模板匹配， 减少 了计算量和显存占用， 利于在工程实 践中部署。 权利要求书2页 说明书7页 附图2页 CN 115205557 A 2022.10.18 CN 115205557 A 1.一种基于二分图和图注意力机制的模板匹配系统， 其特征是： 所述模板匹配系统包 括网络构建模块、 学习与预训练模块和计算与定位模块， 所述网络构建模块用于在孪生网络框架下， 构建多层次特征融合MLF模块， 用于提取模 板图像和搜索图像的融合特 征并建模， 构建BGAM模块； 所述学习与 预训练模块用于利用大规模数据图像数据集， 对所述孪生网络模型进行预 训练， 通过对模板图像和搜索图像的多层次融合特征， 以及所述BGAM模块中的图注意力聚 合特征进行学习， 以得到模板图像和搜索图像之间的局部对应信息； 所述计算与定位模块用于利用经预训练后的孪生网络模型， 分别从模板分支和搜索 分 支中提取所述模板图像与搜索图像的融合特征并输入到BGAM网络模块， 生成用于定位模板 的响应图。 2.一种基于二分图和图注意力 机制的模板匹配方法， 其特征是： 应用权利要求1所述的 模板匹配系统， 构建MLF网络模块， 用于提取模板图像和搜索图像的融合特征； 构建BGAM网 络模块， 用于编码模板节点与搜索节点的关系， 并为每个搜索节点和模板节点聚合相 应的 局部信息， 生成定位模板的响应图； 具体步骤如下： 一)在孪生网络 框架下， 基于 CNN卷积神经网络模型构建多层次特 征融合MLF网络模块； 二)在孪生网络框架下， 构建基于二分图及图注意力机制的局部信息匹配BGAM网络模 块， 通过二分图及图注意力机制来编码模板节点与搜索节点的关系， 通过学习注意力系数， 为每个搜索节点和模板节点聚合相应的局部信息， 为后续模板定位生成定位模板的响应 图； 三)所述MLF网络模块和BGAM网络模块构 建孪生网络模型， 利用大规模数据集对构 建的 孪生网络模型进行 预训练， 并对孪生网络模型中的参数进行调整； 四)经预训练后的所述MLF网络模块使用CNN卷积神经网络的不同卷积层的输出结果作 为MLF网络模块的输入来 提取模板图像和搜索图像的融合特 征； 五)将所述模板图像的融合特征和搜索图像的融合特征输入到BGAM网络模块， 对输入 的融合特征进 行完全二分图建模并编 码模板节点与搜索节点的局部特征关系， 分别得到模 板图像和搜索图像的图注意力聚合特征， 通过卷积互相关的方式， 计算两个子图间的相似 度得分， 生成定位模板的响应图； 六)根据响应图定位模板图像的位置及尺度信 息， 相似度 得分最高的区域， 即得最佳匹 配区域。 3.根据权利要求2所述的基于二分图和图注意力 机制的模板匹配方法， 其特征是： 步骤 四)中， 所述CNN卷积神经网络的不同卷积层的输出大小通过双三次插值调整到相同大小， 其中， 为每 个卷积特 征乘上一个权 重系数， 多层次特 征融合MLF网络模块的公式表述 为： 其中， ||表示在通道维度进行连接， αi(i＝1,2,3,...,n)为不同卷积层特征Ci的权重系 数， 且满足约束αi(i＝1,2,3,. ..,n)∈[0,1]， 4.根据权利要求2所述的基于二分图和图注意力 机制的模板匹配方法， 其特征是： 步骤 五)中， 所述模板图像的融合特征Ft和搜索图像的融合特征Fs中的每一个1 ×1×c的网格视 为一个节点， 该节点则表征了特征图的局部信息， 其中c表示 特征通道的数量； 设Vt为包含Ft权　利　要　求　书 1/2 页 2 CN 115205557 A 2中所有节点的集合， 设St为包含St中所有节点的集合， 则描述模 板目标和搜索区域之间局部 特征关系的完全二分图可定义 为： 完全二分图G的两个子图定义为： 和 对于每个(i,j)∈E， 令eij表示节 点i∈Vt和节点j∈Vs的相关分数 其中 和 是节点i和节点j的特 征向量； 为了自适应地学习节点之间的相关性， 对节点特征进行线性变换， 取变换后的特征向 量之间的内积来计算相关 分数， 即 其中Wt和Ws是线性变换矩阵； 为了平衡传递到搜索区域的信息量， 使用softm ax函数对eij进行归一化， 得到图注意力 系数 此时， aij的含义可描述为： 模板特征上的每一个节点i应该给予搜 索节点j多少 “注意力”。 5.根据权利要求2或3所述的基于二分图和图注意力机制的模板匹配方法， 其特征是： 步骤五)所述完全二分图G， 利用从子图Gt中的所有节点传递到子图Gs中第j个节点的注意 力， 计算节点j的注意力聚合特征 其中Wv为用于线性变换的矩阵； 使用多头 注意力的方式扩展图注意力机制使用K个独立的注意力机制分别进行计算， 然后将计算所 得的特征串联起 来， 得到大小为 的图注意力聚合特 征 同理， 计算从子图Gs所有节点映射到子图Gt第i个节点的注意力机制聚合特征， 可表示 为 权　利　要　求　书 2/2 页 3 CN 115205557 A 3