(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210568679.9 (22)申请日 2022.05.24 (71)申请人 上海大学 地址 200444 上海市宝山区上 大路99号 (72)发明人 韩军　杨涛　林浩宇　俞锦翔　 庞红玉　 (74)专利代理 机构 上海恒慧知识产权代理事务 所(特殊普通 合伙) 31317 专利代理师 徐红银　张琳 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 骨架关节点增强的异常行为识别方法、 系 统、 设备及 介质 (57)摘要 本发明提供一种基于骨架关节点增强时空 卷积网络的异常行为识别方法， 包括： 数据集预 处理后生 成多帧骨架序列； 所述多帧骨架序列输 入至若干个连续的时空卷积模块中， 进行关节增 强并输出时序特征； 将所述时序特征输入至全局 平均池化层和分类器得到异常行为识别结果。 通 过空间增强移位模块对各个关节点分配不同程 度的权重， 突出重要关节点的特征信息。 本实施 例训练的关节点增强时空卷积模型能有效检测 人体异常行为并及时发出警报， 该方法在较少计 算量的情况 下达到较高的准确率和召回率。 权利要求书3页 说明书9页 附图5页 CN 114782998 A 2022.07.22 CN 114782998 A 1.一种基于骨架关节点增强时空卷积网络的异常行为识别方法， 其特 征在于， 包括： 数据集预处 理后生成多帧骨架序列； 所述多帧骨架序列输入至若干个连续的时空卷积模块中， 进行关节增强并输出时序 特 征； 将所述时序特 征输入至全局平均池化层和分类 器得到异常行为识别结果。 2.根据权利要求1所述的一种基于骨架关节点增强时空卷积网络的异常行为识别方 法， 其特征在于， 所述数据集预处理后生成多帧骨架序列， 包括： 归一化骨架关节点数据和 构建时空拓扑图； 所述归一 化骨架关节点数据， 包括： 对于T帧的视频， 第一帧中出现的第 一个人的中心关节点作为坐标系的原点， 将第一帧 中每个关节点坐标减去所述中心关节点的坐标； 利用其他帧和 第一帧的关节点坐标差值 获 得关节点在时间维度上的位移； 所述构建时空拓扑图， 包括： 通过OpenPose提取作 为输入的多帧骨架序列， 所述骨架序列由N个关节点和T帧骨架序 列的时空图构成； 在具有N个关节点的骨架图中， 每个关节点表示为位置坐标向量X＝(x,y,z)， x和y为关 节点的横纵坐标， z为该关节点的置信度； 空间维度上(单帧)， 根据人体构造将同一帧中不同关节点连接成边形成骨架图； 时间维度上(多帧)， 将相邻帧之间的同一个关节点连接成边形成T帧的时序图。 3.根据权利要求1所述的一种基于骨架关节点增强时空卷积网络的异常行为识别方 法， 其特征在于， 所述时空卷积模块的数量 为9层； 每个时空卷积模块的输入是Cin×N×T， 输出是Cout×N×T， Cin为输入关节点的特征(通 道数)， Cout为输出关节点的特征(通道数)， N为关节点数， T为总帧数； 每一层的输入特征是 上一层的输出 特征； 9层时空卷积模块的输入通道数、 输出通道数和步长分别为： 时空卷积块B1的输入通道数为3、 输出通道数为64、 步长为1； 时空卷积块B2的输入通道数为64、 输出通道数为64、 步长为1； 时空卷积块B3的输入通道数为64、 输出通道数为64、 步长为1； 时空卷积块B4的输入通道数为64、 输出通道数为128、 步长为2； 时空卷积块B5的输入通道数为128、 输出通道数为128、 步长为1； 时空卷积块B6的输入通道数为128、 输出通道数为128、 步长为1； 时空卷积块B7的输入通道数为128、 输出通道数为25 6、 步长为2； 时空卷积块B8的输入通道数为25 6、 输出通道数为25 6、 步长为1； 时空卷积块B9的输入通道数为25 6、 输出通道数为25 6、 步长为1； 9层时空卷积模块输出的时空特 征向量为Cout×N×T， 其中Cout为输出通道数(25 6)。 4.根据权利要求1所述的一种基于骨架关节点增强时空卷积网络的异常行为识别方 法， 其特征在于， 所述每 个时空卷积模块包括： 空间增强移位模块和时间移位模块， 其中， 所述空间增强移位模块包括： 空间移位和关节点增强； 所述空间移位操作学习单帧关节的局部特征； 计算同一帧关节间相似性权重系数后，权　利　要　求　书 1/3 页 2 CN 114782998 A 2获得每个关节点不同的权重； 利用两层感知机提取各个关节点的权重， 进而生成包含每个 关节的权 重系数的中间特 征向量； 所述关节点增强操作将空间移位操作后的特 征与所述中间特 征相加实现关节点增强； 所述空间增强移位模块输出的特征与输入特征相加输入到所述时间移位模块中学习 时序特征。 5.根据权利要求4所述的一种基于骨架关节点增强时空卷积网络的异常行为识别方 法， 其特征在于， 所述空间移位的过程， 包括： 单帧骨架序列特征为 其中N为关节点数量， Cin为输入通道大小， 第i个通道的 平移距离为imodN， 关节点与关节点之间连接后进行平移， 每个 关节点通过特征平移获取同 一帧中的其 他关节点的特 征信息， 再通过1 ×1卷积实现各个通道之间的信息交换。 6.根据权利要求4所述的一种基于骨架关节点增强时空卷积网络的异常行为识别方 法， 其特征在于， 所述关节点增强的过程， 包括： 通过高斯 函数计算各关节间的相似度； 利用Softmax函数归一 化后生成的关节相似性权 重系数输入到全局平均池化层； 将两层全连接层分别与tanh 激活函数和sigmo id激活函数 结合提取关节权 重分布； 通过关节权重对骨架序列中的关节加权得到 中间特征向量， 归一化后的中间特征与输 入特征相加得到 输出特征， 空间增强移位模块的输出 特征可表示为 7.根据权利要求4所述的一种基于骨架关节点增强时空卷积网络的异常行为识别方 法， 其特征在于， 所述时间移位模块采用时序移位卷积 操作， 包括： 时空卷积模块的输入特征与空间增强移位模块的输出特征相加作为时间移位模块的 输入特征， 表示为 在时间维度上 连接连续的帧， 移位卷积 操作后使得每一帧从其相邻帧中获得信息； 每个通道设有一个可 学习的参数Si去学习网络的移位 程度； 移位卷积操作结合1 ×1卷积学习时序特征， 最后经过RELU激活函数后进行BN归一化， 叠加时序特 征后形成的特 征向量为 8.一种基于骨架关节点增强时空卷积网络的异常行为识别系统， 其特 征在于， 包括： 预处理模块， 原 始数据集预处 理后生成多帧骨架序列； 时空卷积模块， 所述多帧骨架序列输入至若干个连续的时空卷积模块中， 进行关节增 强并输出时序特 征； 识别模块， 所示识别模块将所述 时序特征输入至全局 平均池化层和分类器得到异常行 为识别结果。 9.一种电子设备， 其特征在于， 所述电子设备包括处理器和存储器， 所述存储器中存储 有至少一条指 令、 至少一段程序、 代码集 或指令集， 所述至少一条指 令、 所述至少一段程序、 所述代码集或指令集由所述处 理器加载并执 行以实现以下任一种方法： ‑权利要求1 ‑7任一项所述的方法， 或， ‑权利要求8所述的系统。 10.一种计算机可读存储介质， 其特征在于， 所述存储介质中存储有至少一条指令、 至 少一段程序、 代码集或指令集， 所述至少一条指令、 所述至少一段程序、 所述代码集或指令权　利　要　求　书 2/3 页 3 CN 114782998 A 3