(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211034251.2 (22)申请日 2022.08.26 (71)申请人 浪潮通信 信息系统有限公司 地址 250101 山东省济南市高新区浪潮路 1036号浪潮科技园S0 6号楼 (72)发明人 梁秉豪　袁明明　王凯　王涛　 李知澳　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 程琛 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/20(2022.01) G06V 10/46(2022.01) G06V 10/74(2022.01)G06V 10/82(2022.01) (54)发明名称 明厨亮灶场景下的人员玩手机行为检测方 法及装置 (57)摘要 本发明提供一种明厨亮灶场景下的人员玩 手机行为检测方法及装置， 属于机器视觉技术领 域， 所述方法包括： 对单帧图像中的人体关键点 位和目标物体进行检测； 基于人体骨骼关节点位 信息和目标物体信息， 确定人脸与目标物体之间 的距离、 人体姿态与目标姿态的相似度以及人脸 朝向与目标物体之间的偏离程度； 基于所述距 离、 所述相似度和所述偏离程度， 确定人员行为 是否为玩手机行为。 本发明基于单帧图像检测人 体关键点和目标物体， 提高了系统运行效率， 结 合所述距离、 所述相似度和所述偏离程度， 确定 人员行为是否为玩手机行为， 解决了泛化性能差 和鲁棒性差的问题， 对人体关键点位进行检测， 提升了俯拍和 侧脸等情况的识别准确率。 权利要求书2页 说明书8页 附图4页 CN 115424205 A 2022.12.02 CN 115424205 A 1.一种明厨亮灶场景 下的人员玩手机行为检测方法， 其特 征在于， 包括： 获取单帧图像， 对所述单帧图像中的人体关键点 位和目标物体进行检测； 在检测到所述单帧图像中存在人体关键点位和目标物体的情况下， 基于从所述单帧图 像中提取的人体骨骼关节点位信息和目标物体信息， 确定人脸与所述目标物体之间的距 离、 人体姿态与目标姿态的相似度， 以及人脸朝向与所述目标物体之间的偏离程度； 基于所述距离、 所述相似度和所述偏离程度， 确定人员行为是否属于目标 行为； 其中， 所述目标物体为手机， 所述目标姿态为所述目标行为对应的姿态， 所述目标行为 为明厨亮灶场景 下的人员玩手机行为。 2.根据权利要求1所述的明厨亮灶场景下的人员玩手机行为检测方法， 其特征在于， 所 述对所述单帧图像中的人体关键点 位和目标物体进行检测， 包括： 将所述单帧图像输入至人体检测模型进行人体关键点位检测， 得到所述人体检测模型 输出的第一检测结果， 以基于所述第一检测结果判断所述单帧图像中是否存在人体骨骼关 键点； 将所述单帧图像输入至物体检测模型进行目标物体检测， 得到所述物体检测模型输 出的第二检测结果， 以基于所述第二检测结果判断所述单帧图像中是否存在目标物体； 其中， 所述人体检测模型是基于自底向上算法和图论算法训练得到， 所述物体检测模 型是基于小目标检测算法训练得到 。 3.根据权利要求2所述的明厨亮灶场景下的人员玩手机行为检测方法， 其特征在于， 所 述人体检测模型和所述物体 检测模型均分别部署在多个处 理器上并行运行。 4.根据权利要求2所述的明厨亮灶场景下的人员玩手机行为检测方法， 其特征在于， 所 述小目标检测算法为单阶段目标检测算法。 5.根据权利要求1所述的明厨亮灶场景下的人员玩手机行为检测方法， 其特征在于， 所 述基于从所述单帧图像中提取的人体骨骼关节点位信息和目标物体信息， 确定人脸与所述 目标物体之间的距离、 人体姿态与目标姿态的相似度， 以及人脸朝向与所述 目标物体之间 的偏离程度， 包括： 将所述人体骨骼关节点位信息和所述目标物体信息输入至训练好的人体姿态估计模 型， 得到所述人体姿态估计模型输出 的人脸与所述 目标物体之间的距离、 人体姿态与目标 姿态的相似度， 以及人脸朝向与所述目标物体之间的偏离程度； 其中， 所述人体姿态估计模型基于深度学习算法训练得到 。 6.根据权利要求1所述的明厨亮灶场景下的人员玩手机行为检测方法， 其特征在于， 所 述基于所述距离、 所述相似度和所述偏离程度， 确定人员行为是否属于目标 行为， 包括： 基于所述距离、 所述相似度和所述偏离程度， 确定人体姿态为目标姿态的概 率； 在所述概率大于预设阈值的情况 下， 确定人员行为属于目标 行为。 7.根据权利要求1 ‑6任一项所述的明厨亮灶场景下的人员玩手机行为检测方法， 其特 征在于， 所述获取 单帧图像， 包括： 获取视频 数据， 对所述视频 数据进行解码抽帧， 得到所述单帧图像。 8.一种明厨亮灶场景 下的人员玩手机行为检测装置， 其特 征在于， 包括： 第一检测模块， 用于获取单帧图像， 对所述单帧图像中的人体关键点位和目标物体进 行检测； 第二检测模块， 用于在检测到所述单帧图像中存在人体关键点位和目标物体的情况权　利　要　求　书 1/2 页 2 CN 115424205 A 2下， 基于从所述单帧图像中提取 的人体骨骼关节点位信息和目标物体信息， 确定人脸与所 述目标物体之间的距离、 人体姿态与目标姿态的相似度， 以及人脸朝向与所述目标物体之 间的偏离程度； 判断模块， 用于基于所述距离、 所述相似度和所述偏离程度， 确定人员行为是否属于目 标行为； 其中， 所述目标物体为手机， 所述目标姿态为所述目标行为对应的姿态， 所述目标行为 为明厨亮灶场景 下的人员玩手机行为。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所 述明厨亮灶场景 下的人员玩手机行为检测方法。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处理器执行时实现如权利要求1至7任一项所述明厨亮灶场景下 的人员玩手机行 为检测方法。权　利　要　求　书 2/2 页 3 CN 115424205 A 3