(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210878119.3 (22)申请日 2022.07.25 (71)申请人 成都信息工程大学 地址 610200 四川省成 都市西南 航空港经 济开发区学府路1段24 号 (72)发明人 符颖　李卓遥　吴锡　胡金蓉　 周激流　 (74)专利代理 机构 成都智涌知识产权代理事务 所(普通合伙) 51313 专利代理师 蔡福林 (51)Int.Cl. G06V 20/17(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/774(2022.01) G06V 10/74(2022.01) G06V 10/44(2022.01) G06T 7/269(2017.01) G06T 7/246(2017.01) G06T 7/13(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于光流网络的无人机视频运动目标 检测方法 (57)摘要 本发明涉及一种基于光流网络的无人机视 频运动目标检测方法， 所述光流网络包括特征语 义提取网络、 上下文提取网络、 视觉相似度计算 模块、 MobileViT ‑CBAM模块和GRU迭代更新模 块， 特征语义提取网络和上下文提取网络的RepVGG 特征提取模块， 即保留了多分支结构的性能优 势， 进一步融合了细节信息和语义信息， 使提取 的特征表达能力更强， 提高了检测精度。 同时利 用机构重参数化思想变为单路结构， 又进一步提 高了推理速度， 减少显存占用。 针对CNN缺乏全局 信息的提取能力， 采用MobileViT ‑CBAM模块作为 单独的附加模 块， 使用CNN和Tran sformer结合的 方式， 以获得更多的特征信息和细节信息， 达到 更精确的光流估计， 得到更精确的目标分割结 果。 权利要求书1页 说明书8页 附图3页 CN 115359372 A 2022.11.18 CN 115359372 A 1.一种基于光流网络的无人机视频运动目标检测方法， 其特征在于， 所述方法通过构 建的光流网络来进行运动目标的检测， 所述光流网络包括特征语义提取网络、 上下文提取 网络、 视觉相似度计算模块、 Mobi leViT‑CBAM模块和GRU迭代更新模块， 所述方法具体包括： 步骤1： 将无 人机获取的视频处 理得到的目标图像作为训练集； 步骤2： 将训练集中相邻的两个目标图像通过两个权值共享的特征语义提取网络分别 提取第K帧和第K+1帧的特 征语义信息， 所述特 征语义提取网络整体下采样率 为8倍； 步骤3： 将第K帧目标图像输入与特征语义提取网络结构完全相同的RepVGG模块的上下 文提取网络， 用于提取 所述目标图像的上 下文特征； 步骤4： 将所述特征语义信息输出至视觉相似度计算模块， 计算所提取特征对的内积， 得到一个4D的代价空间， 然后将所述代价空间的最后两个维用大小为1、 2、 4、 8的核进行池 化， 构建4层相关金字塔， 利用相关金字塔 建立多尺度图像相似度特征， 使突变运动更明显， 所述特征对为第K帧和第K+1帧的语义信息特 征； 步骤5： 将所述上下文特征输出至所述MobileViT ‑CBAM模块， MobileViT ‑CBAM模块使用 CNN和Transformer结合的方式， 使用CNN提取局部特征， 使用Tran sformer提取全局特征， 输 出聚合的全局特征， 所述全局特征在整个图像中共享信息， 将这些聚合的全局特征与局部 特征和视觉上下文特征连接起来， 具体为： 步骤51： 将输入的上下文特征X[H,W,C]使用一个n ×n卷积和PWConv卷积， 放缩通道数 为b， 得到第一特征X ′[H,W,b]， 将第一特征X ′展开为第二特征X″[P,N,d]， 然后输入 Transformer网络提取全局空间信息， 输出第三特征Y″[P,N,d]， 将所述第三特征通过与前 面展开方式相反的操作再折叠复原得到第四特征Y ′[H,W,b]， 将第四特征Y ′使用PWConv卷 积复原回与所述上 下文特征一样尺寸大小的第五特 征； 步骤52： 所述MobileViT ‑CBAM模块还包括跳跃连接模块， 即在MobileViT模块的跳跃连 接部分直接引入了CBAM模块， 所述CBAM模块包括通道注意力模块和空间注意力模块， 将所 述上下文 特征输入所述通道注意力模块 获得通道注意力特征， 将所述通道注意力特征输入 所述空间注意力模块得到空间注意力特征， 即最终的通道空间注意力特征， 所述空间通道 注意力特 征与所述第五特 征进行融合得到最终的第六 特征Y[H,W,C]； 步骤6： 将所述第六特征与所述多尺度图像相似度特征进行融合后输入GRU迭代更新模 块， 由GRU迭代更新模块 解码为剩余 光流， 得到高分辨 率光流场， 具体的： GRU迭代更新模块输出的光流分辨率为初始图像的1/8， 采用光流的双线性插值和凸上 采样来匹配真值分辨率， 通过将全分辨率上的每一个像素都看作是其在1/8分辨率上 的邻 域像素们的凸组合， 进而 可以通过对1/8分辨率上的邻域像素们进 行上采样， 得到全分辨率 上的结果， 即最终的目标图像高分辨 率光流场； 步骤7： 将高分辨率光流场处理得到最终光流可视化结果， 具体的： 将光流的方向用颜 色标识， 不同的颜色表示不同的运动方向， 光流的大小用颜色强度表示， 光流值越大， 颜色 越深； 步骤8： 光流阈值分割提取运动目标， 在进行步骤7的光流计算后， 得到视频序列图像的 光流场， 然后通过最大类间方差来对光流场进行阈值分割， 按图像的灰度特性， 区分出前景 与背景， 得到最终的运动目标检测图像。权　利　要　求　书 1/1 页 2 CN 115359372 A 2一种基于光流网 络的无人机 视频运动目标 检测方法 技术领域 [0001]本发明涉及无人机技术领域， 尤其涉及一种基于光流网络的无人机视频运动目标 检测方法。 背景技术 [0002]随着无人机技术不断发展成熟， 针对无人机视频 图像的处理也变得愈加重要， 其 中运动目标检测就是重要研究方向之一， 它在空间遥感、 军事勘察、 智慧城市建设、 自然灾 害检测等方面 都发挥着重要作用。 运动目标检测也是实现目标跟踪、 道路监控、 行为分析等 任务的前提， 是计算机视觉领域的重要组成部 分， 被广泛应用于军事以及民用领域， 其中主 要包括： 武器装备， 安防， 交通管制， 图像压缩， 三维重构等。 由于无人机数据的获取不受时 间和地域的 限制， 在获得大范围、 多角度、 高分辨率数据等方面具有一定的优势。 因此， 国内 外学者开始利用无人机视频图像进行运动目标检测相关的研究， 常见的无人机视频运动目 标检测方法主要包括帧差法、 光流法和深度学习法等。 传统方法虽然在运动目标检测领域 取得了一定的成果， 但取得的效果局限于一些特定的场景。 深度学习已被证明是传统方法 的有效替代品， 深度学习 可以回避制 定优化问题并训练网络直接预测流量。 当前 的深度学 习方法已经实现了与最佳传统方法相当的性能， 同时在推理时明显更 快。 [0003]光流估计领域先后有几种主流网络。 一开始是FlowNet以及FlowNet2， 后来被 PWCNet所替代， 后来又有了IRR这样的迭代式网络， 再到2020年提出了RAFT。 其实光流估计 方法的发展过程就是从UNet的结构逐渐跳出的过程。 而且， 由于光流所描述的是两帧图像 间的关系， 通过已估计出 的光流可以把后一帧向前一帧映射， 映射之后的两帧可以继续估 计光流的残差， 如此循环， 可以将残差不断叠加， 所以， 加入迭代优化的结构是很好的思路。 PWCNet试图加入迭代优化， 但由于其思路仍然被UNet限制， 没能走出上下采样的结构， 从而 限制了迭代的次数， 即迭代上采样的层数的设计必须和下采样的层数保持一致。 后来， IRR 网络进一步推动迭代优化的过程， 将整个PWCNet网络迭代很多次， 不断地计算光流的残差， 再求和， 从而达到了更好的效果。 而RAFT巧妙地将下采样与迭代优化结合， 完美地跳出Unet 相关思想的限制 。 这也成为接下来一段时间光流估计方法的主要思想， 即 同时考虑到局部 和全局信息， 输入到循环网络里将光流的估计值进行迭代优化。 RAFT架构是由传统的基于 优化的方法推动的。 特征编 码器提取每个像素的特征。 相关层计算像素之 间的视觉相似度。 更新运算符模仿迭代优化算法的步骤。 但与传统方法不同， 特征和运动先验不是手工制作 的， 而是学习的， 分别由特征编码器和更新算子学习。 这种特征匹配与迭代的方式， 也将成 为今后光 流网络研究的热点方向。 [0004]现有技术方案存在的不足： [0005]1、 运动目标检测中由于遮挡和运动会导致光流估计结果存在很大的模糊性， 而这 些模糊无法通过局部方法解决， 导 致最终检测精度较低。 [0006]CNN不适合做全局运动估计， CNN网络在空间上是局部的， 标准 的卷积可以看成三 步： 1)unfolding  2)matrix  multiplication  3)folding。 其中第二步矩阵乘法只能学习到说　明　书 1/8 页 3 CN 115359372 A 3