(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211344364.2 (22)申请日 2022.10.31 (71)申请人 南京信息 工程大学 地址 224002 江苏省盐城市高新区新河街 道文港南路10 5号 (72)发明人 胡昭华　刘浩男　林潇　王莹　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 陈萍萍 (51)Int.Cl. G06T 7/246(2017.01) G06V 20/40(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于互相关匹配增强孪生网络的目标 跟踪方法及系统 (57)摘要 本发明公开了一种基于互相关匹配增强孪 生网络的目标跟踪方法及系统， 包括： 对所采集 的待跟踪目标的视频序列进行裁剪， 获得所有帧 图像的模板图像和搜索图像； 将所述模板图像和 搜索图像输入至构建并训练好的互相关匹配增 强孪生网络中， 提取模板图像和搜索图像的模板 特征和搜索特征； 对模板特征和搜索特征进行互 相关匹配得到互相关特征； 对模板图像进行边界 框信息编码得到边界框编码特征； 对互相关特征 与边界框编码特征的融合特征进行分类计算和 回归计算， 得到相应的分类得分图和回归预测 图； 根据分类得分图中响应值最大的位置， 结合 回归预测图的偏移量， 获得目标在视频序列帧上 的最终位置。 本发明对复杂场景变化跟踪的适应 能力强且精度高。 权利要求书3页 说明书10页 附图4页 CN 115546252 A 2022.12.30 CN 115546252 A 1.一种基于互相关匹配增强孪生网络的目标跟踪方法， 其特 征在于， 所述方法包括： 对所采集的待跟踪目标的视频序列进行裁剪， 获得所有帧图像的模板图像和搜索图 像； 将所述模板图像和搜索图像输入至构建并训练好的互相关匹配增强孪生网络中， 通过 所述互相关匹配增强孪生网络提取模板图像和搜索图像的模板特征和搜索特征； 对模板特 征和搜索特征进 行互相关匹配得到互相关特征； 对模板图像进行边界框信息编 码得到边界 框编码特征； 对互相关特征与边界框编码特征 的融合特征进行分类计算和回归计算， 得到 相应的分类得分图和回归预测图； 根据分类得分图中响应值最大的位置， 结合回归预测图的偏移量， 获得目标在视频序 列帧上的最终位置 。 2.根据权利要求1所述的基于互相关匹配增强孪生网络的目标跟踪方法， 其特征在于， 所述互相关匹配增强孪生网络的构建和训练过程包括： 获取目标视频序列帧数据集， 根据图像的目标位置和尺寸， 对数据集中的每一帧图像 进行裁剪， 获得所有帧图像的模板图像和搜索图像， 将其作为训练样本集； 构建互相关匹配增强孪生网络， 所述互相关匹配增强孪生网络包括特征提取网络、 互 相关匹配网络、 分类回归网络及边界框编码模块； 所述特征提取网络为改进的ResNet50深 度残差网络， 所述ResNet50深度残差网络的改进包括： 去除原ResNet50深度残差网络的第 五层卷积层， 将第三层和 第四层的卷积步长均设置为 1， 第三层和 第四层的扩张卷积的大小 均设置为 4； 基于所述训练样本集对所构建的互相关匹配增强孪生网络进行训练， 获得训练好的互 相关匹配增强孪生网络 。 3.根据权利要求2所述的基于互相关匹配增强孪生网络的目标跟踪方法， 其特征在于， 所述对数据集中的每一帧图像进行裁 剪的方法包括： 将目标视频序列的首帧图像以目标为中心裁剪为127*127*3大小的模板图像， 从第二 帧开始， 将目标视频序列的后续帧的图像以目标为中心裁 剪为255*255*3大小。 4.根据权利要求2所述的基于互相关匹配增强孪生网络的目标跟踪方法， 其特征在于， 所述互相关匹配网络包括横向尺度提取模块、 纵向尺度提取模块和级联双重互相模块； 所述级联双重互相关模块用于将模板特征和搜索特征进行像素匹配互相关操作后， 与 模板特征进行深度可分离互相关操作， 得到级联双重互相关特 征， 其计算公式为： fpm＝PM(fz,fx) FDw＝DW(fpm,fz)                    (1) 式中， fpm表示模板特征fz和搜索特征fx的像素匹配互相关特征， PM表示像素匹配互相 关； FDw表示级联双重互相关特 征， DW表示深度可分离互相关； 所述横向尺度提取模块用于提取模板特征与搜索特征的横向尺度分支特征， 其计算公 式为： Hk＝HD3:1(Nk) FH＝DW(fz*Hk,fx*Hk)               (2) 式中： Nk表示常规的N*N卷积核， Hk表示卷积核Nk经HD3:1横向3:1的卷积扩张为7*3大小 的横向卷积核； FH表示横向尺度分支特 征； *表示卷积 操作；权　利　要　求　书 1/3 页 2 CN 115546252 A 2所述纵向尺度提取模块用于提取模板特征与搜索特征的纵向尺度分支特征， 其计算公 式为： Vk＝VD1:3(Nk) FV＝DW(fz*Vk,fx*Vk)                (3) 式中， Vk表示卷积核Nk经VD1:3纵向进行1:3的卷积扩张为3*7大小的纵向卷积核； FV表示 纵向尺度分支特 征。 5.根据权利要求4所述的基于互相关匹配增强孪生网络的目标跟踪方法， 其特征在于， 基于所述级联双重互相关特征FDw、 横向尺度分支特征FH及纵向尺度分支特征FV， 计算所述 互相关匹配网络 输出的互相关特 征F为： F＝α1FH+α2FK+α3FDW              (4) 式中， α1、 α2和α3分别表示级联双重互相关特征FDw、 横向尺度分支特征FH和纵向尺度分 支特征FV的融合系数， 所述融合系数α1、 α2和 α3的取值根据网络训练进行优化得到 。 6.根据权利要求5所述的基于互相关匹配增强孪生网络的目标跟踪方法， 其特征在于， 所述边界框编 码模块包括多层 全连接层； 所述边界框编 码模块对模板图像进 行边界框信息 编码的步骤 包括： 将模板图像的目标边界框坐标转化成一维的特征向量B， 其中， B∈(x,y,w,h)， (x,y)表 示目标边界框的角点 坐标， w表示目标边界框的宽度， h表示目标边界框的高度； 所述特征向量B经过多层全连接层进行向量维度的编码， 获得边界框编码特征BC表示 为： BC＝fC(B)                      (5) 式中： fC表示全连接层结构， BC表示特征向量B经全连接层的输出 特征。 7.根据权利要求6所述的基于互相关匹配增强孪生网络的目标跟踪方法， 其特征在于， 所述互相关特 征与边界框编码特 征的融合特 征的提取步骤 包括： 将所述互相关特 征F与边界框编码特 征BC进行广播相加操作得到初步融合特 征Fb： Fb＝F+BC                     (6) 对所述初步融合特 征Fb进行1*1大小的卷积编码得到融合特 征FBM： FBM＝fg(Fb)                    (7) 式中， fg表示卷积编码 操作。 8.根据权利要求2至7任一所述的基于互相关匹配增强孪生网络的目标跟踪方法， 其特 征在于， 基于所述训练样本集对所构建的互相关匹配增强孪生网络进行训练的步骤 包括： 从所述训练样本集中随机抽取成对的模板图像和搜索图像， 作为互相关匹配增强孪生 网络两个分支的输入； 利用带动量的SGD随机梯度下降法进行梯度回传， 优化网络参数， 直至联合任务损失函 数收敛； 所述联合任务损失函数的计算公式为： L＝ λ1Lcls+λ2Lreg                (8) 式中， Lcls表示二值交叉熵损失函数， Lreg表示IOU损失函数， λ1和 λ2分别为Lcls和Lreg的权 重。 9.一种基于互相关匹配增强孪生网络的目标跟踪系统， 其特 征在于， 所述系统包括：权　利　要　求　书 2/3 页 3 CN 115546252 A 3