(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211347619.0 (22)申请日 2022.10.31 (71)申请人 浙江理工大 学 地址 310018 浙江省杭州市江干经济开发 区2号大街9 28号 (72)发明人 田秋红　潘豪　章立早　施之翔　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 林超 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于P2CS_3DNet的行为识别方法 (57)摘要 本发明公开了一种基于P2CS_3Dnet 的行为 识别方法。 包括步骤:读取数据集视频动作， 获取 视频标签； 通过等差采样的方式对每个视频进行 视频帧提取， 对提取的视频帧进行尺 寸归一化处 理； 将视频帧输入P2 C_1Net网络进行视频动作的 低层特征提取， 实现对时间信息的有效提取； 再 输入P2C_2Net网络中进行高层特征提取， 有效提 取到空间上的特征， 并加强该特征， 减少参数量 加快运行时间； 将提取的特征输入进CSENet注意 力模型， 在完成特征压缩和特征激励的同时还能 对特征进行逐步卷积， 实现对局部特征的关注； 最后融入残差模块进行视频低层特征信息和 高 层特征信息的融合， 融合后的特征经输出层输出 后， 得到视频的动作分类结果。 权利要求书2页 说明书7页 附图6页 CN 115527275 A 2022.12.27 CN 115527275 A 1.一种基于P2CS_3DNet网络的行为识别方法。 其特 征在于， 包括下列步骤： 步骤1)将包含动作的视频数据集分为训练集、 测试集和验证集， 读取训练集中各个视 频的动作， 并获得每 个视频的动作对应的行为标签； 步骤2)通过等差采样的方式对每个视频进行视频帧的提取， 对提取的视频帧进行尺寸 归一化处理； 步骤3)将步骤2)提取的视频帧输入P2CS_3Dnet网络进行视频的行为识别， P2CS_3Dnet 网络包括P2C_1Net模块、 P2C_2Net模块和CSENet 注意力模块； 3.1)将步骤2)提取的视频帧先输入P2C_1Net模块进行视频动作的低层 特征提取， 有效 提取并加强时间信息； 3.2)将步骤3.1)提取的低层 特征输入P2C_2Net模块中进行视频动作的高层 特征提取， 有效提取并加强空间信息； 3.3)将步骤3.2)提取的特征输入CSENet注意力模块完成特征压缩和特征激励的同时 对特征进行逐步卷积， 完成对局部特 征的关注。 3.4)最后通过残差模块将步骤2)提取的视频特征和步骤3.3)输出的特征信息进行融 合， 融合后的特 征经输出层输出后， 得到 视频的动作分类结果。 2.根据权利要求1所述的一种基于P2CS_3DNet网络的行为识别方法， 其特征在于： 所述 步骤2)具体为： 2.1)通过Opencv读取每 个视频的视频帧数； 2.2)通过等差 选取的方式选取指定参数的视频帧； 2.3)对选取的视频帧进行尺寸归一 化处理。 3.根据权利要求1所述的一种基于P2CS_3D  Net网络的行为识别方法， 其特征在于： 所 述步骤3.1)具体为： P2C_1Net网络基于P3D  Module构建， P2C_1Net网络包括第一时间卷积、 第一空间卷积、 卷积核个数为64的3 ×1×1的第二时间卷积、 1 ×3×3的第二空间卷积、 第一最大池化层； 输 入P2C_1Net网络的视频帧分别输入第一时间卷积和第一空间卷积， 第一时间卷积的输出经 CBAM注意力机制输出时间特征， 第一空间卷积输出空间特征， 时间特征和时间特征经Add操 作融合后依次输入第二时间卷积、 第二空间卷积、 第一 最大池化层； 最后通过残差模块将输入P2C_1Net网络的视频特征和第一最大池化层压缩后的特征 进行融合， 完成低层特 征提取。 4.根据权利要求1所述的一种基于P2CS_3D  Net网络的行为识别方法， 其特征在于： 所 述步骤3.2)具体为： P2C_2Net网络基于P3D  Module构建， P2C_2Net网络包括第三空间卷积、 第三时间卷积、 第四空间卷积和第四时间卷积、 最大池化层； 步骤3)提取 的低层特征分别输入第三空间卷 积和第三时间卷积， 第三空间卷积的输出经CBAM注意力机制输出空间特征， 第三时间卷积 输出时间特征， 通过Add操作将时间特征和空间特征融合后依次输出第四空间卷积、 第四时 间卷积、 第二 最大池化层； 最后通过残差模块将步骤3.1))提取的低层特征和经第 二最大池化层压缩后特征进行 融合， 完成高层特 征的提取。 5.根据权利要求1所述的一种基于P2CS_3D  Net网络的行为识别方法， 其特征在于： 所权　利　要　求　书 1/2 页 2 CN 115527275 A 2述步骤3.3)具体为： CSENet注意力模型基于SENet构建， CSENet注意力模型包括两路分支， 第一路分支包括 依次连接的全局最大池化、 1 ×1×1的卷积、 全连接层， 第二路分支包括依次连接的全局平 均池化、 1 ×1×1的卷积、 全连接层； 将步骤3.2)提取的高层特征分别输入第一路分支和第二路分支， 分别经第一路分支和 第二路分支的全局最大池化和全局平均池化进行特征压缩， 再经1 ×1×1的卷积实现局部 特征提取， 之后通过全连接层实现全局提取特征； 使用Multiply将第一路分支和第二路分 支输出的特征相乘融合， 最后通过残差模块将相乘融合后的特征和步骤3.2)提取的高层特 征进行融合， 完成局部特 征信息的提取。 6.根据权利要求1所述的一种基于P2CS_3D  Net网络的行为识别方法， 其特征在于： 所 述步骤3.4)的输出层包括 三层Dense层， 第三Dense层的神经 元个数为视频动作的类别数。权　利　要　求　书 2/2 页 3 CN 115527275 A 3