(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211080451.1 (22)申请日 2022.09.05 (71)申请人 海尔数字科技 （青岛） 有限公司 地址 266101 山东省青岛市崂山区中韩街 道科苑纬一路1号青岛国际创新园B座 402 申请人 海尔卡奥斯物联科技有限公司 (72)发明人 卢萌　陈善德　王克刚　陈健美　 柳彬　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 李彩玲 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/22(2022.01)G06V 10/74(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01) (54)发明名称 操作时长的确定方法、 装置、 设备及存储介 质 (57)摘要 本申请公开了一种操作时长的确定方法、 装 置、 设备及存储介质， 涉及生产制造技术领域， 可 以提高得到的操作时长的可靠性及确定操作时 长的效率。 该方法包括： 获取AR设备传输的标注 视频； 标注视频中标注有至少一个工位区域， 各 工位区域对应标注有不同的工序标识， 各工序标 识用于表示不同的生产工序； 基于标注视频， 确 定至少一个工位区域的工作人员的至少一组操 作姿态数据， 并根据至少一个工位区域的工序标 识从候选操作姿态组中对应确定出至少一个目 标操作姿态组； 各候选操作姿态组包括对应的至 少两个标准操作姿态； 基于至少一组操作姿态数 据和至少一个目标操作姿态组， 确定至少一个工 位区域的工作人员每一次完成对应的生产工序 的操作时长 。 权利要求书2页 说明书12页 附图4页 CN 115457656 A 2022.12.09 CN 115457656 A 1.一种操作时长的确定方法， 其特 征在于， 包括： 获取增强现实AR设备传输的标注视频； 所述标注视频中标注有至少一个工位区域， 各 工位区域对应标注有不同的工序标识， 各工序标识用于表示 不同的生产工序； 基于所述标注视频， 确定所述至少一个工位区域的工作人员的至少一组操作姿态数 据， 并根据所述至少一个工位区域的工序标识从候选操作姿态组中对应确定出至少一个目 标操作姿态组； 各候选操作姿态组包括对应的至少 两个标准操作姿态； 一个工位区域对应 一组操作姿态数据， 且一个工序标识对应一个目标操作姿态组； 基于所述至少一组操作姿态数据和所述至少一个目标操作姿态 组， 确定所述至少一个 工位区域的工作人员每一次完成对应的生产工序的操作时长 。 2.根据权利要求1所述的操作时长的确定方法， 其特征在于， 所述标注视频为所述AR设 备通过如下 方式得到： 调用预设标注算法对采集的生产作业视频进行识别处理， 确定出所述生产作业视频中 的所述至少一个工位区域及所述至少一个工位区域的工序标识； 采用预设包围框对所述至少一个工位 区域进行标注 处理， 并在所述预设包围框的预设 位置处对所述至少一个工位区域的工序标识进行标注处理； 所述预设标注算法根据样本生 产作业视频和样本标注视频训练得到 。 3.根据权利要求1所述的操作时长的确定方法， 其特征在于， 所述基于所述标注视频， 确定所述至少一个工位区域的工作人员的至少一组操作姿态数据， 包括： 调用预设人体姿态 识别算法对所述标注视频中每 个工位区域进行姿态 识别 处理， 得到所述至少一组操作姿态数据； 所述预设人体姿态识别算法根据样本标注视 频和样本操作姿态数据训练得到 。 4.根据权利要求1所述的操作时长的确定方法， 其特征在于， 所述至少两个标准操作姿 态包括起始作业姿态和结束作业姿态， 所述基于所述至少一组操作姿态数据和所述至少一 个目标操作姿态组， 确定所述至少一个工位区域的工作人员每一次完成对应的生产工序的 操作时长， 包括： 基于第一操作姿态数据和第 一目标操作姿态组的起始作业姿态， 确定第 一工位区域的 工作人员操作第一生产工序的一个起始时刻； 所述第一操作姿态数据为所述至少一组操作 姿态数据中， 与所述第一工位区域对应的一组操作姿态数据； 所述第一 目标操作姿态组为 所述至少一个目标操作姿态组中， 与所述第一工位区域的工序标识对应的一个目标操作姿 态组； 所述第一工位区域为所述至少一个工位区域中的任意一个工位区域； 所述第一生产 工序为所述第一工位区域的工序标识对应的生产工序； 基于所述第 一操作姿态数据和所述第 一目标操作姿态组 的结束作业姿态， 确定所述第 一工位区域的工作人员操作所述第一生产工序的一个结束时刻； 所述结束时刻与所述起始 时刻对应； 基于所述起始时刻和所述结束时刻， 确定所述第 一工位区域的工作 人员完成一次所述 第一生产工序的操作时长 。 5.根据权利要求4所述的操作时长的确定方法， 其特征在于， 所述至少两个标准操作姿 态还包括至少一个中间作业姿态； 所述基于第 一操作姿态数据和第 一目标操作姿态 组的起始作业姿态， 确定第 一工位区权　利　要　求　书 1/2 页 2 CN 115457656 A 2域的工作人员操作第一生产工序的一个起始 时刻， 包括： 从所述第一操作姿态数据的预设 起始帧开始， 将所述第一操作姿态数据与所述第一目标操作姿态组的起始作业姿态进 行匹 配； 在确定第一帧与所述第一目标操作姿态组的起始作业姿态的第一匹配度满足第一预设 条件的情况 下， 将所述第一帧对应的时刻确定为 一个所述 起始时刻； 所述基于所述第一操作姿态数据和所述第 一目标操作姿态组的结束作业姿态， 确定所 述第一工位区域的工作人员操作所述第一生产工序的一个结束时刻， 包括： 从所述第一帧 开始， 基于所述第一 目标操作姿态组的至少一个中间作业姿态的时序， 将所述第一操作姿 态数据与所述第一目标操作姿态组的至少一个中间作业姿态进行匹配； 在确定至少一个中 间帧与所述第一目标操作姿态组的至少一个中间作业姿态的至少一个第二匹配度满足第 二预设条件的情况下， 从所述至少一个中间帧的最后一帧开始， 将所述第一操作姿态数据 与所述第一目标操作姿态组的结束作业姿态进行匹配； 在确定第二帧与所述第一目标操作 姿态组的结束作业姿态的第三匹配度满足第三预设条件的情况下， 将所述第二帧对应的时 刻确定为与所述 起始时刻对应的所述结束时刻。 6.根据权利要求5所述的操作时长的确定方法， 其特 征在于， 所述方法还 包括： 根据所述第一匹配度、 所述至少一个第二匹配度以及所述第三匹配度， 确定所述第一 工位区域的工作人员完成所述第一 生产工序过程中的不 合规操作。 7.根据权利要求1 ‑6任意一项所述的操作时长的确定方法， 其特征在于， 所述确定所述 至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长之后， 所述方法还包 括： 对所述至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长进行可 视化展示。 8.一种操作时长的确定装置， 其特 征在于， 包括： 获取模块， 用于获取增强现实AR设备传输的标注视频； 所述标注视频中标注有至少一 个工位区域， 各工位区域对应标注有不同的工序标识， 各工序标识用于表示不同的生产工 序； 确定模块， 用于基于所述标注视频， 确定所述至少一个工位区域的工作人员的至少一 组操作姿态数据， 并根据所述至少一个工位区域的工序标识从候选操作姿态组中对应确定 出至少一个目标操作姿态组； 各候选操作姿态组包括对应的至少 两个标准操作姿态； 一个 工位区域对应一组操作姿态数据， 且一个工序标识对应一个目标操作姿态组； 所述确定模块， 还用于基于所述至少一组操作姿态数据和所述至少一个目标操作姿态 组， 确定所述至少一个工位区域的工作人员每一次完成对应的生产工序的操作时长 。 9.一种操作时长的确定设备， 其特征在于， 包括存储器、 处理器、 总 线和通信接口； 所述 存储器用于存 储计算机执 行指令， 所述处 理器与所述存 储器通过 所述总线连接； 当所述操作时长的确定设备运行时， 处理器执行所述存储器存储的所述计算机执行指 令， 以使所述操作时长的确定设备执行如权利要求1 ‑7任意一项所述的操作时长的确定方 法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有指令， 当计算机执行所述指令时， 使得所述计算机执行如权利要求1 ‑7任意一项所述的操作时长 的确定方法。权　利　要　求　书 2/2 页 3 CN 115457656 A 3