(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210547484.6 (22)申请日 2022.05.18 (71)申请人 烟台创迹软件 有限公司 地址 264000 山东省烟台市经济技 术开发 区长江路161号天马大厦2401室 (72)发明人 王传正　李向芸　刘兵　曙光　 李想　 (74)专利代理 机构 烟台上禾知识产权代理事务 所(普通合伙) 37234 专利代理师 赵加鑫 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/10(2022.01) G06T 7/70(2017.01) G06N 3/08(2006.01)G06N 3/04(2006.01) G06K 9/62(2022.01) G08B 13/196(2006.01) H04N 5/247(2006.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种用于实体零售场景的盗窃监测和追踪 方法及系统 (57)摘要 本发明涉及一种用于实体零售场景的盗窃 监测和追踪方法及系统。 所述盗窃监测和追踪系 统包括货架缺货监测模块、 去除店员模块、 盗窃 行为感知监测模块、 数据处理模块、 人员检索模 块、 行为轨迹拟合模块、 数据库、 多个货架采集摄 像头和多个人员采集摄像头。 本发 明提供的盗窃 监测和追踪方法和系统主要针对实行自选购物 的实体商场和超市等实体零售场景， 通过计算机 视觉技术对监控的图片信息或视频信息进行处 理和分析， 能够快速感知可能发生的商品盗窃行 为， 还能够对特定人员进行快速检索和轨迹跟 踪， 拟合出特定人员的行动轨迹， 这大大提高了 工作效率， 降低了用人成本 。 权利要求书3页 说明书9页 附图1页 CN 114821447 A 2022.07.29 CN 114821447 A 1.一种用于实体零售场景的盗窃监测 和追踪系统， 其包括： 货架缺货监测模块、 去除店员模块、 盗窃行为感知监测模块、 数据处理模块、 人员检索 模块、 行为轨 迹拟合模块、 数据库、 多个货架采集摄 像头和多个人员采集摄 像头， 其中： 所述货架采集摄像头被安放在能够拍摄货架正面的位置处， 用于对货架及其上搁置的 货品进行拍照， 并将拍摄的照片发送到数据库进行保存； 所述人员采集摄像头被安放在能够拍摄到位于实体零售场景内的人员的面部和身体 的位置处， 用于对人员进行拍照， 并将拍摄的照片发送到数据库进行保存； 所述货架缺货监测模块用于控制货架采集摄像头对货架进行拍照的角度， 对获得的货 架正面的图像照片进行处理， 将货架分割 出多个货架单元， 识别出所分割 出的货架单元里 是否发生缺货现象， 并将缺货信息发送给去除店员模块， 该缺货信息包括缺货所在的货架 单元和出现缺货的照片形成的时间； 所述去除店员模块用于在接收到缺货信 息后， 控制缺货所在的货架单元附近的人员采 集摄像头的拍照角度以便拍摄该缺货所在的货架单元前和附近位置的照片数据或视频数 据， 并且对获得的照片数据或视频数据进行处理以识别所拍的人里是否有营业员， 如果有 营业员则不做处 理， 如果没有营业员则将接收的缺货信息发给盗窃行为感知监测模块； 所述盗窃行为感知监测模块用于在接到缺货信息后从数据库中获取与缺货所在货架 单元对应放置的货品信息， 基于出现缺货的照片形成的时间确定缺货发生的时间段， 调用 实体零售场景 的销售系统， 确认在预定时间内所述缺货的货品是否已经全部结账； 如果已 经全部结账则不做处理， 如果没有全部结账则给数据处理模块发送启动 指令和缺货所在的 货架单元信息以及缺货发生的时间段信息； 所述数据处理模块用于在接收到启动指令和缺货所在的货架单元信息以及缺货发生 的时间段信息后， 从数据库获取在所述货架单元附近的人员采集摄像头在所述缺货发生的 时间段拍摄的照 片数据或视频数据， 从获取的照 片数据或视频数据中选择一个或多个目标 人物并提取目标人物的人体特征信息， 将目标人物照 片和提取的人体特征信息发送到数据 库进行保存， 同时给人员检索模块发送检索所述目标人物的指令和缺货发生的时间段信 息； 所述人员检索模块用于在接到检索所述目标人物的指令和缺货发生的时间段信息后 从数据库获取所述目标人物的照 片和所述提取的人体特征信息， 并且以人员采集摄像头的 编号为索引号从数据库上获取在缺货发生的时间段内及以后的预设时间该编号的人员采 集摄像头拍摄的照片数据或视频数据、 和该编号的人员采集摄像头所在位置， 从获取 的照 片数据或视频数据中进行人物检测并提取人体特征信息， 将提取的人体特征信息与获取的 目标人物的人体特征信息进行相似度度量计算， 将相似度度量最大的照 片数据或视频数据 中的人物作为 目标人物， 记录下该照片数据或视频数据及其形成时间、 拍摄该照片数据或 视频数据的人员采集摄像头的编号及该编号的人员采集摄像头所在位置并发送给行为轨 迹拟合模块； 所述行为轨迹拟合模块用于基于接收到的存在目标人物的照片数据或视频数据及其 形成时间、 拍摄该照 片数据或视频数据的人员采集摄像头的编号及该编号的人员采集摄像 头所在位置， 按序整理目标人物出现的全部信息， 包括但不限于人员采集摄像头的编号、 该 编号的人员采集摄像头所在位置、 照片数据或视频数据的形成时间， 以人员采集摄像头所权　利　要　求　书 1/3 页 2 CN 114821447 A 2在位置和所述形成时间为线索， 在实体零售场景的平面图中拟合出目标 人物的行动轨 迹； 数据库用于存储在实体零售场景中工作的营业员的照片及其人体特征信 息、 货架单元 信息、 货品信息、 货架单元信息与所放置的之 间的对应关系、 货架采集摄像头的编号和与相 应货架之间的对应关系 、 人员采集摄 像头的编号及其所在位置 。 2.根据权利要求1所述的用于实体零售场景的盗窃监测和追踪系统， 其中使用所述数 据处理模块来选择目标 人物的过程中由人工来进行选择操作。 3.根据权利要求1所述的用于实体零售场景的盗窃监测和追踪系统， 还包括特征信息 更新模块， 用于对于从多个人员采集摄像头拍摄的照 片数据或视频数据中提取的人体特征 信息保存， 其中对于不同的人体特征信息进行追加保存， 对于相同的人体特征信息进行更 新保存。 4.一种使用权利要求1 ‑3之一所述的系统来执行用于实体零售场景的盗窃监测和追踪 方法， 其包括： 使用安放在能够拍摄货架正面的位置处的货架采集摄像头对货架及其上搁置的货品 进行拍照， 并将拍摄的照片发送到数据库进行保存； 使用安放在能够拍摄到位于实体零售场景内的人员的面部和身体的位置处的人员采 集摄像头对人员进行拍照， 并将拍摄的照片发送到数据库进行保存； 使用货架缺货监测模块控制 货架采集摄像头对货架的拍照角度， 对获得的货架正面的 图像照片进行处理， 将货架分割 出多个货架单元， 识别出所分割 出的货架单元里是否发生 缺货现象， 并将缺货信息发送给去除店员模块， 该缺货信息包括缺货所在的货架单元和出 现缺货的照片形成的时间； 使用去除店员模块接收来自货架缺货监测模块的缺货信 息， 控制缺货所在的货架单元 附近的人员采集摄像头的拍照角度以便拍摄该缺货所在的货架单元前和附近位置的照片 数据或视频数据， 并且对获得的照片数据或视频数据进行 处理以识别所拍的人里是否有 营 业员， 如果有营业员则不做处理， 如果没有营业员则将接 收的缺货信息发给盗窃行为感知 监测模块； 使用盗窃行为感知监测模块接收来自去除店员模块的缺货信 息， 从数据库中获取与缺 货所在货架单元对应放置的货品信息， 基于出现缺货的照 片形成的时间确定缺货发生的时 间段， 调用实体零售场景 的销售系统， 确认在预定时间内所述缺货的货品是否已经全部结 账； 如果已经全部结账则不做处理， 如果没有全部结账则给数据 处理模块发送启动指令和 缺货所在的货架单 元信息以及缺货发生的时间段信息； 使用数据处理模块接收来自盗窃行为感知监测模块的启动指令和缺货所在的货架单 元信息以及缺货发生的时间段信息， 从数据库获取在所述货架单元附近的人员采集摄像头 在所述缺货发生的时间段拍摄的照片数据或视频数据， 从获取的照片数据或视频数据中选 择一个或多个目标人物并提取目标人物的人体特征信息， 将目标人物照 片和提取的人体特 征信息发送到数据库进行保存， 同时给人员检索 模块发送检索所述目标人物的指 令和缺货 发生的时间段信息； 使用人员检索模块接收来自数据处理模块的检索所述目标人物的指令和缺货发生的 时间段信息， 从数据库获取所述 目标人物的照片和所述提取 的人体特征信息， 并且以人员 采集摄像头的编号为索引号从数据库上获取在缺货发生的时间段内及以后的预设时间该权　利　要　求　书 2/3 页 3 CN 114821447 A 3