(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211343864.4 (22)申请日 2022.10.31 (71)申请人 南京邮电大 学 地址 210033 江苏省南京市栖霞区广月路 30-06号 (72)发明人 李群　潘许贝　杨锐　肖甫　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 姜梦翔 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/44(2022.01) G06V 10/52(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种结合卷积注意力模块的双分支视频异 常检测方法 (57)摘要 本发明属于视频异常检测技术领域， 公开了 一种结合卷积注意力模块的双分支视频异常检 测方法， 包括： 取训练集中的原始帧， 再将原始帧 输入到光流提取网络中得到光流帧， 然后将原始 帧和光流帧分别输入到预测和重建两个分支网 络中， 并通过联合损失函数对双分支网络进行训 练， 从而得到一个完整的视频异常检测检测模 型， 类似的， 在测试阶段， 取测试集中原始帧， 并 通过光流提取网络得到光流帧， 再将原始帧和光 流帧分别输入到预测和重建分支中， 分别得到预 测帧和重建帧， 通过计算得到预测帧和真实帧的 预测误差， 重建帧和光流帧的重建误差， 对两种 误差进行加权平衡， 得到视频帧异常得分， 实现 对异常视频帧的检测。 本发明可以实现更高的检 测精度。 权利要求书3页 说明书8页 附图2页 CN 115527150 A 2022.12.27 CN 115527150 A 1.一种结合卷积注意力模块的双分支视频异常检测方法， 其特征在于： 该方法基于一 个双分支的网络结构， 并将卷积注意力模块嵌入该双分支网络结构中， 加强对特征的学习， 两个分支分别进 行视频帧预测和光流帧重 建任务， 具体的该双分支视频异常检测方法包括 如下步骤： 步骤1： 收集视频 数据， 将视频 数据分为训练集和待测集； 步骤2： 取步骤1所述训练集中的连续t个视频帧， 即原始帧， 输入到双分支结构中的视 频帧预测分支中， 预测得到第t+1个视频帧， 即预测帧 步骤3： 将步骤2中的t个原始帧输入到光流提取网络中， 提取得到原始帧的t个光流图 像， 即光流帧y1:t， 然后将光流帧y1:t输入到双分支结构中的光流帧重建分支中， 重建得到t 个新的光 流帧， 即重建帧 步骤4： 计算步骤2中得到的第t+1个预测帧 和第t+1个真实帧xt+1之间的预测误差 Lpred， 计算步骤3中得到的t个重建帧 和输入的t个光 流帧y1:t之间的重构误差Lrecon； 步骤5： 结合步骤4中得到的预测误差Lpred和重构误差Lrecon， 以及梯度损失Lgrad、 交叉熵 损失Lentro构建一个联合损失函数L对双分支网络进行训练， 最终训练得到一个能对异常事 件进行有效检测的网络模型； 步骤6： 取步骤1中的待测集数据， 即连续t个视频帧， 依次通过步骤2、 步骤3和步骤5， 得 到待测视频帧的预测误差Spred和重构误差Srecon， 再对预测误差Spred和重构误差Srecon进行加 权平衡， 最终得到待测视频帧的异常得分S， 进 而实现对异常事 件的检测。 2.根据权利要求1所述的一种结合卷积注意力模块的双分支视频异常检测方法， 其特 征在于： 步骤2中提出的所述视频帧预测分支主要由一个自动编码 器、 多个嵌入其中的记忆 内存模块以及一个卷积注意力模块构成， 该分支的输出 结果为第t+1帧的预测结果 3.根据权利要求2所述的一种结合卷积注意力模块的双分支视频异常检测方法， 其特 征在于： 所述视频帧预测分支的构建方法为： 步骤2‑1： 构建自动编码器： 自动编码器主要由一个编码器和解码器构成， 所述编码器 和解码器都具有三层结构， 所述编码器由两个卷积层和一个下采样层构成， 所述解码器由 两个卷积层和一个上采样层构成； 步骤2‑2： 对步骤2 ‑1中的自动编码器进行通道拼接： 在所述编码器和所述解码器的对 应层之间加入跳跃连接， 直接将所述编 码器每一层的特征图和解码 器对应层的特征图进 行 通道拼接操作， 从而减少信息的损失； 步骤2‑3： 在自动编码器结构中嵌入了多个多尺度的记忆内存模块， 所述记忆内存模块 根据余弦相似性原理， 得到一个新的特 征图， 公式如下： 其中， Fin为输入特征图， mi为记忆内存中每个维度的特征向量， d(Fin,mi)表示余弦相似 性， T表示 转置； 权　利　要　求　书 1/3 页 2 CN 115527150 A 2其中， exp表示取e的指数， N表示记忆内存的维度， ri表示记忆内存对应 特征向量的查询 权重； 根据以上公式可以得到记忆内存模块中每个特征向量对应的查询权重， 再将查询权重 与对应的特 征向量相乘并拼接得到一个新的特 征图， 其公式如下： 其中， Fout表示输出特征图， N表示记忆内存的维度， ri表示对应记忆内存特征向量的查 询权重， mi表示对应的记 忆内存特 征向量； 步骤2‑4： 嵌入卷积注意力模块： 为了加强网络对输入图像周边语义信息的学习， 在自 动解码器之后嵌入一个卷积注意力模块， 所述卷积注意力模块由掩码卷积层和通道注意力 层构建， 其中所述掩码卷积层主要由四个小卷积组成， 每个小卷积对特征图的边角区域进 行操作， 最后将四个小卷积的结果相加得到卷积注意力模块的输出 结果。 4.根据权利要求3所述的一种结合卷积注意力模块的双分支视频异常检测方法， 其特 征在于： 步骤2 ‑4中所述通道注意力层构建主 要包括如下步骤： 步骤2‑4‑1： 压缩阶段： 对输入特征图的每个通道进行全局平均池化， 得到一个维度等 于特征通道数的一维向量； 步骤2‑4‑2： 激发阶段： 将步骤2 ‑4‑1压缩阶段得到的一维 向量输入到两个全连接层中， 获得每个特征通道对应一维权 重向量； 步骤2‑4‑3： 重新调整 阶段： 用步骤2 ‑4‑2激发阶段得到的一维权重向量与输入的特征 图进行相乘操作， 从而得到最终的输出 结果。 5.根据权利要求4所述的一种结合卷积注意力模块的双分支视频异常检测方法， 其特 征在于： 卷积注意力模块的使用个数等于 输入数据的通道数。 6.根据权利要求1所述的一种结合卷积注意力模块的双分支视频异常检测方法， 其特 征在于： 所述 步骤4中的预测误差Lpred和重建误差Lrecon分别由以下两个公式得到： 其中， || ||2表示取l2范数， 其中， || ||2表示取l2范数。 7.根据权利要求6所述的一种结合卷积注意力模块的双分支视频异常检测方法， 其特 征在于： 所述 步骤5中联合损失函数的构建过程 为： 步骤5‑1： 在所述 步骤5中加入了梯度损失Lgrad， 其公式如下： 其中， k， l代 表视频帧的时空索引， | | ||1表示取l1范数， | |表示取绝对值； 步骤5‑2： 为了使记忆模块能更好地学习正常事件， 查询权重更加的稀疏， 因此， 加入了 交叉熵损失Lentro对查询权 重进行约束， 其公式如下：权　利　要　求　书 2/3 页 3 CN 115527150 A 3