(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211354116.6 (22)申请日 2022.11.01 (71)申请人 齐鲁工业大学 地址 250353 山东省济南市长清区大 学路 3501号 (72)发明人 纪鹏　王先建　马凤英　张慧　 曹茂永　 (74)专利代理 机构 济南格源知识产权代理有限 公司 373 06 专利代理师 刘晓政 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/64(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06T 17/00(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06F 30/27(2020.01) (54)发明名称 一种基于卡尔曼滤波和深度学习的手势姿 态估计方法 (57)摘要 本发明涉及计算机视觉技术领域， 尤其是一 种基于卡尔曼滤波和深度学习的手势姿态估计 方法， 本发明包括两个主要部分： 一是一种基于 卡尔曼滤波数据融合的高精度姿态标注的姿态 估计数据集制作， 包括第一阶段仿真手姿态估计 阶段和第二阶段真实手势 图像采集和姿态数据 融合阶段； 二是基于深度学习和集成学习的对双 视角RGB图像进行3D手势姿态估计， 3D手势姿态 估计分为手势姿态估计模型的训练阶段和预测 阶段。 在数据集的制作过程中也需要使用到本申 请提出的基于深度学习和集成学习的手势姿态 估计方法作为 卡尔曼滤波中的观测校正使用。 权利要求书5页 说明书14页 附图5页 CN 115410233 A 2022.11.29 CN 115410233 A 1.一种基于卡尔曼 滤波和深度学习的手势姿态估计方法， 其特 征在于： 制作基于卡尔曼滤波数据融合的姿态标注的双视角手势姿态估计数据集， 包括第 一阶 段仿真手姿态估计阶段和第二阶段真实手势图像采集和姿态数据融合阶段； 对姿态标注的双视角手势姿态估计数据集进行3D姿态估计， 包括手势姿态估计模型的 训练阶段和预测阶段。 2.根据权利要求1所述的基于卡尔曼滤波和深度学习的手势姿态估计方法， 其特征在 于， 制作双视角手势姿态估计数据集 时， 首先进行仿真手姿态估计， 其 次， 进行真实手势图 像采集和姿态数据融合； 仿真手姿态估计包括如下步骤， 步骤1、 确定所要预测的固定手势形态， 即固定手型； 步骤2、 对于步骤1确定的固定手型， 使用建模仿真软件对固定手型进行3D 建模， 生成与 该手型的物理外观特性近似的仿真手模型， 物理外观特性包括在形态、 肤色和纹 理； 步骤3、 在3D仿真软件中导入对于步骤2中获得的仿真手模型， 并在3D仿真软件中设置 两个摄像头， 然后在3D仿真环境软件中采集仿真手模型在3维空间中旋转时的双视角手势 图像和三轴姿态角度数据 ， 为翻滚角、 为俯仰角、 为偏航角， 制作 仿真手模型的姿态估计数据集； 其中3D仿 真软件中两个摄像头和仿 真手模型的位姿关系与 人类双眼和手势的位姿关系相同； 步骤4、 对于仿真手模型的姿态估计数据集使用基于深度学习和集成学习的手势姿态 估计方法， 训练仿真手的3D姿态估计模型， 使3D姿态估计模型能够对仿真手模型图像实现 三维手势姿态的预测； 真实手势图像采集和姿态数据融合包括如下步骤， 步骤5、 真实环境下， 真实人手保持所要预测的手型姿态， 手 中置有姿态传感器， 采集真 实人手在三维空间旋转时的双视角手势图像序列和姿态传感器输出的三轴姿态角度数据 序列， 此时的双视角相机视角位置与步骤2中的双视角设置相同， 此过程的姿态称为传感器 输出姿态； 步骤6、 将步骤3采集的双视角真手图像帧输入到步骤4， 使用仿真手图像训练得到的仿 真手姿态估计模型中进行姿态预测， 该姿态数据称为模型 预测姿态； 步骤7、 将步骤6 中预测的双视角图像对应的传感器输出姿态和模型对图像的预测姿态 使用卡尔曼滤波进行数据的融合， 将两个均具有不确定性的姿态数据通过卡尔曼滤波融合 后输出准确的手势三维姿态数据， 该三维姿态数据称为融合姿态， 此过程中使用卡尔曼滤 波进行多传感器的姿态数据融合操作， 融合的是来自不同传感器的手势姿态数据； 步骤8、 将步骤7生成的手势融合姿态作为 步骤6采集的手势图像的标签并保存； 步骤9、 对步骤5 中采集的所有双视角真实手势图像帧和对应的传感器输出姿态均按照 步骤6、 7、 8进 行操作， 获得具有融合姿态数据标签的真手图像序列， 即生成了高精度姿态标 注的手势姿态估计数据集。 3.根据权利要求2所述的基于卡尔曼滤波和深度学习的手势姿态估计方法， 其特征在 于，权　利　要　求　书 1/5 页 2 CN 115410233 A 2所述的步骤3中制作仿真手模型的姿态估计数据集， 具体步骤如下： 步骤31、 在3D建模仿真软件中导入步骤2设计的仿真手的3D建模模型， 并设置好坐标 系； 步骤32、 在3D建模软件中设置可以捕获两个不同视角RGB仿真手图像的视觉传感器和 能够输出仿真手模型三轴姿态角度的姿态传感器； 步骤33、 实现仿真手模型在3D建模软件中绕三维空间坐标轴旋转， 定时采集双视角传 感器捕获的仿真手图像， 同时记录采集图像时的传感器输出姿态角度， 以姿态角度作为双 视角图像的标签进行保存， 采集手势图像和姿态数据就完成了仿真手模型的姿态估计数据 集的制作。 4.根据权利要求3所述的基于卡尔曼滤波和深度学习的手势姿态估计方法， 其特征在 于， 所述的步骤5 中采集真手的双视角手势图像序列和对应的三维姿态数据序列的具体步 骤如下： 步骤51、 保持所要预测的手势形态并在手中置有姿态传感器， 手在转动时姿态传感器 元件与手不发生相对移动； 步骤52、 设置 两个与步骤3中视角相同的两个普通RGB相机； 步骤53、 匀速转动手腕并定时捕获两个视角相机的手势图像， 并记录采集图像时手中 姿态传感器输出的姿态数据。 5.根据权利要求4所述的基于卡尔曼滤波和深度学习的手势姿态估计方法， 其特征在 于， 卡尔曼滤波数据串行融合的步骤如下： 步骤701、 卡尔曼 滤波手势姿态数据融合系统的参数初始化， 初始化系统状态 ， 初始化系统不确定性协方差矩阵 、 系统状态噪声 协方差矩阵 以及以姿态传感器输出姿态角度 作为系统观测量 的噪声协方差矩 阵 和以手势姿态估计模型对手势图像预测的手势姿态角度 作为系统观测量 的噪声协方差矩阵 ， 步骤702、 根据时刻的最优手势姿态角度估计 时刻的手势姿态角度 ， 步骤703、 根据先验 估计系统不确定性协方差矩阵 ， 权　利　要　求　书 2/5 页 3 CN 115410233 A 3