(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210933601.2 (22)申请日 2022.08.04 (71)申请人 武汉启创赋能智能科技有限公司 地址 430073 湖北省武汉市东湖新 技术开 发区东信路11号武汉留学生创业园 E3186 (72)发明人 蒲诗睿　夏勇　 (74)专利代理 机构 武汉蓝宝石专利代理事务所 (特殊普通 合伙) 42242 专利代理师 邹航 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/764(2022.01) G06V 10/74(2022.01) (54)发明名称 一种基于多特征融合的动作识别方法及系 统 (57)摘要 本发明涉及一种基于多特征融合的动作识 别方法及系统， 其方法包括： 获取目标连续视频 帧及其对应的动作角度序列， 利用第一识别模型 和恰可察觉对 所述目标连续视频帧进行预处理， 消除其中的噪声和反射； 利用第二识别模型对预 处理后的目标连续视频帧， 进行边界评估和多特 征提取， 并将提取到的多个特征与目标的动作角 度序列进行对齐， 得到特征向量； 将所述特征向 量和目标的动作角度序列， 输入到DT W模型中， 得 到目标连续视频帧的动作类别。 本发 明通过结合 SIRR和多个识别模型减小动作角度序列照中的 边界不清晰， 并将特征向量与D TW模型中， 提高其 多场合的适应性以及不连续动作识别的鲁棒 性。 权利要求书2页 说明书5页 附图3页 CN 115410115 A 2022.11.29 CN 115410115 A 1.一种基于多特 征融合的动作识别方法， 其特 征在于， 包括： 获取目标连续视频帧及其对应的动作角度序列， 利用第 一识别模型和恰可察觉对所述 目标连续视频帧进行 预处理， 消除其中的噪声和反射； 利用第二识别模型对预处理后的目标连续视频帧， 进行边界评估和多特征提取， 并将 提取到的多个特 征与目标的动作角度 序列进行对齐， 得到特 征向量； 将所述特征向量和目标的动作角度序列， 输入到DTW模型中， 得到目标连续视频帧的动 作类别。 2.根据权利要求1所述的基于多特征融合的动作识别方法， 其特征在于， 所述第 二识别 模型包括： 所述第二识别模型包括第一卷积神经网络和第二卷积神经网络， 所述第一卷积神经网络， 用于对预处理后的目标连续视频帧， 进行边界评估和多特征 提取， 得到每 个目标的边界及其多维图像特 征； 所述第二卷积神经网络， 用于将目标连续视频帧中并按预设时间长度， 将每个目标的 边界和图像特 征进行对齐和融合， 得到目标 连续视频帧的特 征向量。 3.根据权利要求2所述的基于多特征融合的动作识别方法， 其特征在于， 所述第 一卷积 神经网络为Center ‑net， 所述第二卷积神经网络为Transformer。 4.根据权利要求1所述的基于多特征融合的动作识别方法， 其特征在于， 所述将所述特 征向量和目标的动作角度 序列， 输入到DTW模型中， 得到目标 连续视频帧的动作类别包括： 确定目标 连续视频帧的一个或多个模板动作序列； 基于所述特 征向量和欧式距离计算每 个模板动作序列 与目标连续视频帧的相似度； 将匹配到的相似度最高的模板动作序列的类别， 作为目标 连续视频帧的动作类别。 5.根据权利要求4所述的基于多特征融合的动作识别方法， 其特征在于， 所述基于所述 特征向量和欧式距离计 每个模板动作序列 与目标连续视频帧的相似度包括： 基于特征向量和规整路径， 确定并计算匹配的目标连续视频帧序列与模板动作序列的 最小路径； 根据所述 最小路径计算每 个模板动作序列 与目标连续视频帧的相似度。 6.根据权利要求1至5任一项所述的基于多特征融合的动作识别方法， 其特征在于， 所 述获取目标 连续视频帧及其对应的动作角度 序列包括： 利用kinect提取目标连续视频帧中每个目标的3D骨架， 并计算所述3D骨架中每个关节 的角度特 征； 根据所述每个关节的角度特征和预设模板进行匹配， 得到目标连续视频帧对应的动作 角度序列。 7.一种基于多特 征融合的动作识别系统， 其特 征在于， 包括： 获取模块， 用于获取目标连续视频帧及其对应的动作角度序列， 利用第一识别模型和 恰可察觉对所述目标 连续视频帧进行 预处理， 消除其中的噪声和反射； 提取模块， 用于利用第二识别模型对预处理后的目标连续视频帧， 进行边界评估和多 特征提取， 并将提取到的多个特 征与目标的动作角度 序列进行对齐， 得到特 征向量； 识别模块， 用于将所述特征向量和目标的动作角度序列， 输入到DTW模型中， 得到目标 连续视频帧的动作类别。权　利　要　求　书 1/2 页 2 CN 115410115 A 28.根据权利要求7所述的基于多特征融合的动作识别系统， 其特征在于， 所述获取模块 包括： 计算单元， 用于利用kinect提取目标连续视频帧中每个目标的3D骨架， 并计算所述3D 骨架中每 个关节的角度特 征； 匹配单元， 用于根据所述每个关节的角度特征和预设模板进行匹配， 得到目标连续视 频帧对应的动作角度 序列。 9.一种电子设备， 包括： 一个或多个处理器； 存储装置， 用于存储一个或多个程序， 当所 述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实现如权利 要求1至6任一项所述的基于多特 征融合的动作识别方法。 10.一种计算机可读介质， 其上存储有计算机程序， 其中， 所述计算机程序被处理器执 行时实现如权利要求1至 6任一项所述的基于多特 征融合的动作识别方法。权　利　要　求　书 2/2 页 3 CN 115410115 A 3