(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210679206.6 (22)申请日 2022.06.15 (71)申请人 首都师范大学 地址 100048 北京市海淀区西三环北路10 5 号 (72)发明人 付小雁　刘红红　 (51)Int.Cl. G06V 20/17(2022.01) G06V 20/40(2022.01) G06V 10/26(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种无人机跟踪 方法、 装置和计算机可读存 储介质 (57)摘要 本发明提供了一种无人机跟踪 方法、 装置及 计算机可读存储介质， 包括如下具体步骤： 获取 训练样本； 搭建网络架构； 利用训练集训练出最 优网络模型， 并微调参数； 利用最优网络模型对 待跟踪视频序列中的目标进行跟踪， 获取跟踪结 果。 本发明以ResNet50为主干网络， 利用逐层特 征融合网络自上而下地融合深卷积层的语义信 息和浅卷积层的结构信息， 从而有效应对相似物 干扰和目标的外观变化问题， 并通过注意力模块 提高模型对目标的关注度， 削弱模 型对背景的关 注度， 缓解被跟踪目标受到背景干扰的问题， 进 而提高了无 人机跟踪的成功率和准确度。 权利要求书2页 说明书5页 附图3页 CN 115240084 A 2022.10.25 CN 115240084 A 1.一种无 人机跟踪方法， 其特 征在于， 包括以下步骤： S1、 获取got10K 数据集为训练集， 预处 理got10K 数据集， 得到训练样本； S2、 搭建网络结构； S3、 训练网络模型， 优化网络参数， 得到最优网络模型； S4、 利用S3所述最优网络模型对待跟踪视频序列中的目标进行跟踪， 预测视频序列中 待跟踪目标的位置和尺度信息， 获取跟踪结果。 2.根据权利要求1所述的一种无 人机跟踪方法， 其特 征在于， 所述S1具体包括： S11、 裁剪数据集， 获取图像对： 将模板图像和搜索图像分别以目标为中心进行裁剪， 接 着对图像进行仿射变换后得到图像对； S12、 将got10K数据集信息写入json文件： 读 取got10K的train， val文件夹， 将图像的尺 度、 目标框以及路径等信息层 层嵌入到一个复合字典中， 将字典保存为jso n文件。 3.根据权利要求1所述的一种无 人机跟踪方法， 其特 征在于， 所述S2具体包括： S21、 搭建特 征提取网络， 本发明使用ResNet5 0作为主干网络； S22、 搭建逐层特 征融合网络： 逐层融合ResNet5 0后三层卷积层的特 征； S23、 搭建特征增 强网络： 包括搭建搜索分支的注意力模块和模板分支的注意力模块， 其中搜索分支的注意力模块由通道注意力模块、 空间注意力模块和交叉注意力模块组成， 模板分支的注意力模块由通道 注意力模块和空间注意力模块组成； S24、 计算模板分支与搜索分支的相似度： 将两个分支提取到的第三层、 第四层和第五 层的卷积特征分别进行深度互相关操作， 得到三个互相关响应图， 将三个互相关响应图在 通道维度上进行拼接， 随后利用卷积 操作降低响应图的通道数， 减小计算 量； S25、 搭建分类与回归网络： 该网络由分类分支、 中心度分支和回归分支组成,分类分支 用来预测每个像素点的类别， 中心度分支用来剔除远离目标中心的低质量的目标边界框， 回归分支用于计算目标边界框 。 4.根据权利要求1所述的一种无 人机跟踪方法， 其特 征在于， 所述S3具体包括： S31、 将裁剪好的模板分支图像和搜索分支图像输入到搭建好的网络中， 获取到分类响 应图、 中心度响应度和回归响应图， 从三个响应图中解码出目标的位置和尺度信息； S32、 计算 三个分支的损失函数： 分类损失Lcls、 中心度损失Lcen、 回归损失Lreg； S33、 总的损失函数为 三个分支损失函数的加权和： L＝Lcls+λ1Lcen+λ2Lreg； S34、 优化网络参数： 采用随机梯度下降法不断地进行反向传播直至损失函数达到最 小， 从而确定网络模型的最优参数。 5.根据权利要求1所述的一种无 人机跟踪方法， 其特 征在于， 所述S4具体包括： S41、 获取待跟踪的视频序列； S42、 视频序列第 一帧中的目标区域作为模板分支的输入， 在后续帧中以上一帧预测的 目标位置为中心框 选搜索区域， 并作为搜索分支的输入； S43、 将模板图像和搜索图像输入到搭建好的网络中， 并使用权利要求4中得到的模型 进行目标位置信息和尺度信息的预测， 获得跟踪结果。 6.一种无 人机跟踪装置 300， 其特征在于， 所述装置包括： 视频序列获取模块3 01： 用于获取 无人机跟踪方法所使用的视频序列；权　利　要　求　书 1/2 页 2 CN 115240084 A 2网络搭建模块3 02： 用于搭建无 人机跟踪方法的网络架构； 训练模块3 03： 用于确定无 人机跟踪方法的最优网络模型； 跟踪模块304： 利用最优网络模型对待跟踪视频序列进行跟踪， 确定待跟踪目标的位置 信息和尺度信息 。 7.一种计算机可读存储介质， 其特征在于， 所述计算机存储介质上存储有计算机可执 行指令， 该计算机可 执行指令被执 行后， 能够实现权利要求1至 5任一项所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 115240084 A 3