(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210961227.7 (22)申请日 2022.08.11 (71)申请人 杭州云像科技有限公司 地址 310012 浙江省杭州市下城区环城北 路92号三楼3140室 (72)发明人 谢衍涛　王鼎　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 周翀 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) (54)发明名称 人体行为识别方法、 装置、 计算机设备及存 储介质 (57)摘要 本申请实施例提供了一种人体行为识别方 法、 装置、 计算机设备及存储介质， 属于计算机视 觉技术领域。 该方法包括： 获取待识别行为序列； 获取模板 行为序列； 根据预设的对角矩阵和初始 待识别列向量进行对齐计算， 以得到目标对齐行 为序列； 根据模板行为序列和目标对齐序列进行 相似度计算， 得到序列相似度； 根据序列相似度 确定目标对象的行为识别结果。 本申请实施例先 通过对角矩 阵将待识别行为序列转换成与模板 行为序列对齐的目标对齐行为序列， 再根据目标 对齐序列与模板行为序列的序列相似度确定目 标对象的行为识别结果。 由于本申请实施例在序 列匹配之前， 先进行对齐操作， 能够提高行为识 别的准确率。 权利要求书3页 说明书14页 附图7页 CN 115410269 A 2022.11.29 CN 115410269 A 1.一种人体行为识别方法， 其特 征在于， 所述方法包括： 获取待识别行为序列， 所述待识别行为序列至少包括一个目标对象的初始待识别列向 量； 所述初始待识别列向量用于表征目标对象的骨骼关键点； 获取模板行为序列， 所述模板行为序列至少包括一个模板对象的模板列向量； 所述模 板列向量用于表征模板对象的骨骼关键点； 根据预设的对角矩阵和所述初始待识别列向量进行对齐计算， 以得到目标对齐行为序 列； 其中， 所述目标对齐行为序列包括： 目标 行为列向量； 对所述模板行为序列的每一所述模板列向量和所述目标对齐行为序列中每一所述目 标行为列向量进行相似度计算， 得到序列相似度； 所述序列相似度用于表征所述 目标对象 的骨骼关键点与所述模板对象的骨骼关键点的相似度； 根据所述序列相似度确定所述目标对象的行为识别结果。 2.根据权利要求1所述的方法， 其特征在于， 在所述根据 预设的对角矩阵和所述初始待 识别列向量进行计算， 以得到目标对齐行为序列之后， 所述方法还 包括： 对所述目标对齐行为序列进行 更新， 得到更新后的目标对齐行为序列， 具体包括： 根据所述目标 行为列向量和所述模板列向量进行差值计算， 得到第一向量相差值； 根据所述第一向量相差值对所述对角矩阵进行更新， 直至所述第一向量相差值收敛， 得到目标对角矩阵； 根据所述目标对角矩阵对所述目标行为列向量进行对齐计算， 得到更新后的目标对齐 行为序列。 3.根据权利要求1所述的方法， 其特征在于， 所述根据预设的对角矩阵和所述初始待识 别列向量进行对齐 计算， 以得到目标对齐行为序列， 包括： 根据所述对角矩阵和所述初始待识别列向量进行相乘计算， 得到初步对齐行为序列； 其中， 所述初步对齐行为序列包括至少一个初步对齐列向量， 并确定每一所述初步对齐列 向量的初步对齐列号； 通过预设的列号匹配函数对所述初步对齐列号进行计算， 以得到匹配列号； 根据所述匹配列号对所述模板行为序列进行筛 选处理， 得到匹配模板列向量； 根据所述初步对齐列向量和所述匹配模板列向量进行差值计算， 得到第二向量相差 值； 根据所述第二向量相差值对所述列号匹配函数进行更新处理， 得到目标列号匹配函 数； 根据所述目标列号匹配函数构建所述初步对齐列号和所述模板列向量的列号的匹配 关系， 得到列号匹配关系； 根据所述列号匹配关系 对多个所述初始待识别列向量进行筛选处理， 以得到目标对齐 行为序列。 4.根据权利要求1至3任一项所述的方法， 其特征在于， 所述获取待识别行为序列， 包 括： 获取视频 数据， 所述视频 数据包括至少一个初始待识别帧； 对所述初始待识别帧进行骨骼点检测， 得到 M个初始骨骼点 坐标； 其中， M为 正整数； 将M个所述初始骨骼点坐标以预设的标准人体 图进行映射， 得到M个初步骨骼点坐标；权　利　要　求　书 1/3 页 2 CN 115410269 A 2其中， 所述标准人体图包括M个标准骨骼 点， 每一所述标准骨骼 点的坐标对应一个所述初始 骨骼点坐标； 根据预设的规范矩阵对M个所述初步骨骼点坐标进行规范处理， 得到M个目标骨骼点坐 标； 对M个所述目标骨骼点 坐标进行向量 化处理， 得到初始行为列向量； 将所述视频 数据的所述初始行为列向量进行汇集处 理， 得到所述待识别行为序列。 5.根据权利要求4所述的方法， 其特征在于， 在根据预设的规范矩阵对M个所述初步骨 骼点坐标进行规范处 理， 得到M个目标骨骼点 坐标之前， 所述方法还 包括： 构建预设的所述 规范矩阵， 具体包括： 获取W个骨骼点样本坐标； 其中， W 为正整数； 对W个所述骨骼点样本坐标进行马氏距离计算， 得到目标距离； 根据K均值算法和所述目标距离将W个所述骨骼点样本坐标进行分组处理， 得到骨骼点 样本坐标组； 其中， 所述骨骼点样本坐标组的组数量 为K组； 其中， K为 正整数； 对每一所述骨骼点样本坐标组的所述骨骼点样本坐标的进行均值计算， 得到坐标均 值； 将K组所述骨骼点样本坐标和每一所述骨骼点样本坐标组 的所述坐标均值输入至预设 的多层感知器进行矩阵构建， 得到所述 规范矩阵。 6.根据权利要求5所述的方法， 其特征在于， 所述多层感知器包括第一隐层和第二隐 层； 所述将K组所述骨骼点样本坐标和每一组的所述坐标均值输入至预设的多层感知器， 以 得到所述 规范矩阵， 包括： 将所述第 一隐层的连接权值矩阵、 所述第二隐层的连接权值矩阵、 K组所述骨骼点样本 坐标和每一组的所述 坐标均值进行损失计算， 得到损失函数； 根据所述损失函数对所述第一隐层的连接权值矩阵进行调整， 直至所述损失函数收 敛， 得到目标 连接权值矩阵； 根据所述目标 连接权值矩阵构建所述 规范矩阵。 7.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 在获取所述模板行为序列之前， 所述方法还 包括： 构建预设的所述模板行为序列， 具体包括： 获取视频 数据， 所述视频 数据包括至少一个模板行为帧； 对所述模板行为帧进行骨骼点检测， 得到P个初始模板骨骼点 坐标， 其中， P为 正整数； 将P个所述初始模板骨骼点坐标以预设的标准人体图进行映射， 得到P个初步模板骨骼 点坐标； 其中， 所述标准人体图包括P个标准骨骼点， 每一所述标准骨骼点的坐标对应一个 所述初始模板骨骼点 坐标； 根据预设的规范矩阵对P个所述初步模板骨骼点坐标进行规范， 得到P个目标模板骨骼 点坐标； 对P个所述目标模板骨骼点 坐标进行向量 化处理， 得到模板行为列向量； 将所述视频 数据的所述模板行为列向量进行汇集处 理， 得到所述模板行为序列。 8.一种人体行为识别装置， 其特 征在于， 所述装置包括： 待识别行为序列获取模块， 用于获取待识别行为序列， 所述待识别行为序列至少包括权　利　要　求　书 2/3 页 3 CN 115410269 A 3