(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210600748.X (22)申请日 2022.05.30 (71)申请人 厦门理工学院 地址 361024 福建省厦门市集美区理工路 600号 (72)发明人 陈思　许瑞　王大寒　朱顺痣　 吴芸　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 张灯灿　蔡学俊 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于交互与聚合式特征优化的孪生跟踪方 法及系统 (57)摘要 本发明涉及一种基于交互与聚合式特征优 化的孪生跟踪方法及系统， 该方法包括以下步 骤： 初始化模板图像和搜索区域图像； 构建特征 提取网络， 获得模板多层特征和搜索区域多层特 征； 构建门控双视角聚合模块优化多层模板特 征； 构建语义引导的注意力模块实现搜索区域的 粗粒度特征优化； 构建相关性图聚合模块实现搜 索区域的细粒度特征优化； 构建头部预测 网络， 预测出当前帧目标的位置。 该方法及系统通过模 板特征和搜索区域特征的自注意力聚合及交互 来增强目标显著特征， 抑制背景噪声， 从而在具 有挑战性的场景中获得更加稳定、 鲁棒、 准确的 跟踪结果。 权利要求书4页 说明书11页 附图2页 CN 114926652 A 2022.08.19 CN 114926652 A 1.一种基于交 互与聚合式特 征优化的孪生跟踪方法， 其特 征在于， 包括以下步骤： S1、 初始化模板图像和搜索区域图像； S2、 构建特征提取网络， 输入模板图像和搜索区域图像， 获取相应的模板多层特征Fz和 搜索区域多层特 征Fx； S3、 构建门控双视角聚合模块GDA以优化模板多层特征， 将模板多层特征Fz输入GDA模 块， 获得优化的模板多层特 征 S4、 构建语义引导的注意力模块SGA以实现搜索区域的粗粒度特征优化， 将 和搜索区 域多层特 征Fx输入SGA模块， 获得粗粒度优化的搜索区域特 征 S5、 构建相关性图聚合模块CGA以实现搜索区域的细粒度特征优化， 将 与 输入CGA模 块， 获得细粒度优化的搜索区域特 征 S6、 构建头 部预测网络， 将 和 输入， 预测出当前帧目标的位置 。 2.根据权利要求1所述的基于交互与聚合式特征优化的孪生跟踪方法， 其特征在于， 步 骤S1的具体实现方法为： 根据第一帧给定的目标真实边界框， 在第一帧图像上裁剪出尺寸大小为3 ×127×127 的模板图像； 从第二帧开始， 以上一帧的目标预测边界框中心 坐标为参考点， 裁剪出尺寸大 小为3×255×255的搜索区域图像。 3.根据权利要求1所述的基于交互与聚合式特征优化的孪生跟踪方法， 其特征在于， 步 骤S2的具体实现方法为： 采用ResNet ‑50作为特征提取网络， 将模板图像和搜索区域图像作 为输入， 获取模板多 层特征 和搜索区域多层特征 其中l表示提取的模板或搜 索区域特 征总层数， 分别表示第i层的模板特 征和搜索区域特 征， i∈[1,l]。 4.根据权利要求1所述的基于交互与聚合式特征优化的孪生跟踪方法， 其特征在于， 步 骤S3的具体实现方法为： 所述GDA模块包括局部视角注意力LA、 全局视角注意力GA以及聚合门控三个子模块； 所 述LA模块用于凸显局部视角的高频信息； 对于大小为C ×H×W的单层模板特征 局部视角 注意力特 征 表示为： 其中， W2为可学习的卷积参数， 大小为 和 这里r表示通道压缩参 数； 表示批量归一化； σ 表示sigmoid函数； 表示按位相乘； 高频特征 通过减去局部均 值的方式获得， 表示 为： 权　利　要　求　书 1/4 页 2 CN 114926652 A 2式中， W1为可学习的卷积参数； 为经W1卷积映射 的特征； AvgPool( ·)表示平均池化， 用于获取局部区域的平均信号强度； ks和s分别表示窗口大小和步长； δ表示非线性激活函 数， 这里采用ReLU； 所述LA模块关注固定的感受野， 通过卷积操作 聚合局部区域的信息； 而所述GA模块用 于通过多层特征的交互， 聚合不同感受野的全局信息； 对于一组l层的特征F＝{x1,x2,..., xl}， 对于任意两层特征 和 首先， 采用三个卷积层θ( ·)、 φ(·)和g (·)对xi进行线性映射， 获得 “查询”、“键”和“值”的特征图 和 即 Q＝θ(xi) K1＝φ(xi) V1＝g(xi) 同时 ， 特征xj共享卷积层φ ( ·) 和g (·) ， 得到对应特征图 和 即 K2＝φ(xj) V2＝g(xj) 然后， 将各层的 “键”和“值”分别拼接在一起， 获得多层特征的全局表示 和 其中S＝l×H×W， 这里l表示被查询的总特 征层数； 于是全局特 征K和V表示为： K＝[φ(xi)||φ(xj)] V＝[g(xi)||g(xj)] 其中， [·||·]表示特征按空间维度进行拼接； 因此， 根据标准非局部注意力的公式， 得到注意力特 征yi， 表示为： 上式中， 其表示沿着 j维度进行softmax操作； 最后， 通过一个卷积层ξ( ·)将yi的通道数与原特征图进行统一， 并以残差的方式加在 原特征图上， 从而得到： 对于模板多层特征 根据上式， 其中第i层特征 经过GA模块的更新表 示为： 其中， LA模块和GA模块通过通道压缩参数r和m在一定程度上降低了通道的冗余性， 并分别获权　利　要　求　书 2/4 页 3 CN 114926652 A 3