(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211348196.4 (22)申请日 2022.10.31 (71)申请人 华南农业大 学 地址 510642 广东省广州市天河区五山路 483号 (72)发明人 尹选春　丁朋旭　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 牛念 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的人体行为识别方法及 系统 (57)摘要 本发明涉及人体行为识别方法， 更具体地， 涉及一种基于深度学习的人体行为识别方法及 系统， 通过IMU传感器可十分便捷地获取人体行 为数据， 将人体行为数据传输至IMUT网络模型， 通过IMUT网络模型识别人体行为， 最终将对应的 人体行为识别结果输出， 本发明利用IMU传感器， 降低了获取信息门槛， 不需通过视觉信息进行人 体识别， 不易受到干扰， 且能降低模型训练和推 理所消耗的资源。 权利要求书2页 说明书6页 附图2页 CN 115497171 A 2022.12.20 CN 115497171 A 1.一种基于深度学习的人体行为识别方法， 其特 征在于， 包括以下步骤： S1： 使用IMU传感器采集人体行为数据； S2： 将所述人体行为数据输入经 过预先训练的IMU T网络模型中； S3： 输出对应的人体行为识别结果。 2.根据权利要求1所述的基于深度学习的人体行为识别方法， 其特征在于， 步骤S2中， IMUT网络模型对输入的人体行为数据进行 预测的过程包括： S21： 利用特 征嵌入层让输入的人体行为数据进行相邻时空特 征的融合； S22： 利用特 征抽取层抽取 出特征中的特 征； S23： 利用分类层通过抽取后的特 征进行人体行为的识别。 3.根据权利要求2所述的基于深度 学习的人体行为识别方法， 其特征在于， 步骤S22中， 特征抽取层由一个卷积核为3， 填充为1， 步长为1的卷积层来实现特 征抽取的， 具体公式为： 其中， Cin表示输入特征层数； 表示输出特征层数； Ni表示每一个批次所输入的数据 数量； k表示卷积 核的大小； input(Ni， k)表示输入的张量； 表示与输 出特征大小 一致的偏置； 表示最终输出的张量。 4.根据权利要求3所述的基于深度 学习的人体行为识别方法， 其特征在于， 步骤S22中， 特征抽取层由6个特征抽取block构成， 每一个特征抽取b lock中有一个self ‑attention和 一个全连接层。 5.根据权利要求4所述的基于深度学习的人体行为识别方法， 其特征在于， 每个特征抽 取block中还包含有两个批标准化层， 两个批标准化层分别位于self ‑attention之后和 全 连接层之后。 6.根据权利要求5所述的基于深度学习的人体行为识别方法， 其特征在于， 特征抽取层 的构成方法具体为： Q＝WQX K＝WKX V＝WVX z＝Wa+b ReLU＝max(0， V) 其中， Q表示query矩阵； K表示key矩阵； V表示valu e矩阵； WQ表示query的权重矩阵； WK表 示key的权重矩阵； WV表示value的权重矩阵； X表示输入值； dk表示key矩阵的维度； zi表示第 i个节点的输出值； C表示输出节 点的个数； c表 示每一个节 点； z表示全连接层的输出； W表 示权　利　要　求　书 1/2 页 2 CN 115497171 A 2全连接层的权重； a表示全连接层的输入； b表示全连接层的偏置； ReLU表示激活函数； Attention(Q， K， V)表示对特 征进行自注意力计算； softmax表示输出 结果的概 率。 7.根据权利要求1所述的基于深度学习的人体行为识别方法， 其特征在于， 步骤S2中， IMUT网络模型的训练过程包括： S201： 获取IMU数据集， 将数据集分为训练集和 测试集； S202： 搭建IMU T网络架构； S203： 将训练集输入IMU T网络中训练得到初始IMU T网络模型； S204： 将测试集输入初始IMU T网络模型进行测试， 得到最终的IMU T网络模型。 8.根据权利要求7所述的基于深度学习的人体行为识别方法， 其特征在于， 步骤S201 中， 将数据集分为训练集和 测试集前， 对数据集进行 标注。 9.一种应用于权利要求1至8任一项所述的基于深度学习的人体行为识别方法的人体 行为识别系统， 其特征在于， 包括： IMU传感器、 数据传输模块和服务器端处理程序模块， 所 述IMU传感器与所述数据传输模块的输入端连接， 所述服务器端处理程序模块与所述数据 传输模块的输出端连接； 所述IMU传感器用于采集人体行为数据； 所述数据传输模块用于将 从IMU传感器输入的人体行为数据转发至服务器端处理程序模块； 所述服务器端处理程序 模块用于解算数据传输模块发送过来的数据并存储解算后的数据， 利用解算后的数据及 IMUT网络模型进行 人体行为识别。 10.根据权利要求9所述的基于深度学习的人体行为识别系统， 其特征在于， 所述服务 器端处理程序模块包括解算子模块、 存储子模块、 处理子模块和显示子模块， 所述数据传输 模块、 存储子模块和处理子模块分别与所述解算子模块连接， 所述显示子模块与所述处理 子模块连接， 所述解算子模块用于解算数据传输模块传来的人体行为数据， 所述存储子模 块用于存储所述解算子模块解算后的数据， 所述处理子模块用于将解算后的数据输入训练 好的IMUT网络模型中进行 人体行为识别， 所述显示子模块用于 显示人体行为识别结果。权　利　要　求　书 2/2 页 3 CN 115497171 A 3