(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210741305.2 (22)申请日 2022.06.28 (71)申请人 红亚教育科技 （上海） 有限公司 地址 200439 上海市宝山区高逸路1 12-118 号3幢A09 26室 (72)发明人 赵晨伊　魏玮　袁婷婷　王飞飞　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 刘颖 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/52(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06V 10/766(2022.01) G06V 10/82(2022.01) G06V 10/10(2022.01) (54)发明名称 一种异常行为检测方法、 装置、 介质 (57)摘要 本申请涉及机器视觉领域， 公开了一种异常 行为检测方法、 装置、 介质， 包括： 获取各相机拍 摄的包含监控目标的待处理图像， 以便于判断监 控目标是否存在异常行为。 提取待处理图像中监 控目标的关键点， 并根据关键点获取仅包括一个 监控目标的第一目标图像。 根据关键点计算各相 机拍摄的第一目标图像的相似度， 并根据相似度 对各第一目标图像进行融合 以获取第二目标图 像， 根据第二目标图像判断监控目标是否存在异 常行为。 由此可见， 本申请所提供的异常行为检 测方法， 通过先提取关键点并根据关键点获取第 一目标图像， 无需优先进行目标匹配工作， 提高 图像处理速度。 同时采用多个相机拍摄的待处理 图像对监控目标进行检测， 提高行为检测的准确 率。 权利要求书2页 说明书9页 附图2页 CN 115116136 A 2022.09.27 CN 115116136 A 1.一种异常行为检测方法， 其特 征在于， 包括： 获取各相机拍摄的包 含监控目标的待处 理图像； 提取所述待处理图像中所述监控目标的关键点， 并根据所述关键点获取第一目标图 像， 所述第一 目标图像为仅包括一个监控目标的图像， 所述关键点为与所述监控目标的身 体部位对应的点； 根据所述关键点计算各所述第 一目标图像的相似度， 并根据所述相似度对各所述第 一 目标图像进行融合以获取第二目标图像； 根据所述第二目标图像判断所述 监控目标 是否存在异常行为。 2.根据权利要求1所述的异常行为检测方法， 其特征在于， 所述提取所述待处理图像中 所述监控目标的关键点， 并根据所述关键点获取第一目标图像包括： 利用CNN网络提取图像中的所述关键点并构建检测骨架； 获取所述检测骨架的检测特 征和所述关键点的检测特 征； 结合所述检测骨架的检测特征和分类损失函数， 匹配类别置信度和位置置信度最高的 样本； 获取所述第一目标图像的预测框； 通过所述检测骨架的检测特征和所述关键点的检测特征计算多任务损失函数， 利用所 述多任务损失函数对所述预测框进行回归运 算， 获得所述第一目标图像； 所述多任务损失函数的计算公式为Lall＝λclsLcls+λl1Ll1+λgiouLgiou+λlanLlan， 其中Lcls为 目标分类损失函数， Ll1为目标位置 回归损失函数， Lgiou为目标定位损失函数， Llan为特征点 定位损失函 数， λcls为所述目标分类损失函 数的权重， λl1为所述目标位置回归损失函 数的权 重， λgiou为所述目标定位损失函数的权 重， λlan为所述特 征点定位损失函数的权 重。 3.根据权利要求1所述的异常行为检测方法， 其特征在于， 所述并根据 所述关键点获取 第一目标图像的步骤后， 还 包括： 利用线性相关系数和评估数据集对所述第一目标图像进行图像质量评估； 若所述第一目标图像的图像质量满足预设要求， 则执行所述根据 所述关键点计算各所 述第一目标图像的相似度的步骤。 4.根据权利要求2所述的异常行为检测方法， 其特征在于， 所述根据所述关键点计算各 所述第一目标图像的相似度包括： 利用互信息系数计算各 所述关键点的检测特 征与响应 变量的相关性； 根据所述相关性高于相关性阈值的所述关键点计算各 所述第一目标图像的相似度。 5.根据权利要求1所述的异常行为检测方法， 其特征在于， 所述根据所述第 二目标图像 判断所述 监控目标 是否存在异常行为包括： 根据所述第二目标图像获取 各检测周期内所述 监控目标的行为动作； 基于分类模型对所述行为动作进行轻量姿态差异度比对以判断是否存在第一异常行 为； 若不存在所述第一异常行为， 则获取所述第 二目标图像中所述监控目标的检测骨架模 型； 计算所述检测骨架模型与标准骨架模型的差异度， 以判断是否存在第二异常行为。 6.根据权利要求5所述的异常行为检测方法， 其特征在于， 所述根据所述第 二目标图像权　利　要　求　书 1/2 页 2 CN 115116136 A 2判断所述 监控目标 是否存在异常行为的步骤后， 还 包括： 若存在所述第一异常行为或所述第二异常行为， 向管理人员发送警报信息， 所述警报 信息包括存在所述第一异常行为或所述第二异常行为的所述 监控目标的位置信息 。 7.根据权利要求1所述的异常行为检测方法， 其特征在于， 所述获取各相机拍摄的包含 监控目标的待处 理图像包括： 获取各所述相机同一时刻拍摄的所述包 含所述监控目标的待处 理图像。 8.一种异常行为检测装置， 其特 征在于， 包括： 第一获取模块， 用于获取 各相机拍摄的包 含监控目标的待处 理图像； 第二获取模块， 用于提取所述待处理图像中所述监控目标的关键点， 并根据所述关键 点获取第一 目标图像， 所述第一 目标图像为仅包括一个监控目标的图像,所述关键点为与 所述监控目标的身体部位对应的点； 融合模块， 用于根据所述关键点计算各所述第一目标图像的相似度， 并根据所述相似 度对各所述第一目标图像进行融合以获取第二目标图像； 判断模块， 用于根据所述第二目标图像判断所述 监控目标 是否存在异常行为。 9.一种异常行为检测装置， 其特 征在于， 包括存 储器， 用于存 储计算机程序； 处理器， 用于执行所述计算机程序时实现如权利要求1至7任一项所述的异常行为检测 的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处理器执行时实现如权利要求 1至7任一项 所述的异常行为检测方 法的步骤。权　利　要　求　书 2/2 页 3 CN 115116136 A 3