(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210891183.5 (22)申请日 2022.07.27 (71)申请人 上海浦东发展银行股份有限公司 地址 200000 上海市黄浦区中山 东一路12 号 (72)发明人 刘晓颖　银星茜　朱佳宝　谢柳　 赵群　杨欣捷　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 黄立伟 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/34(2022.01) G06V 10/40(2022.01)G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) (54)发明名称 基于多视角 视频的行为检测方法、 装置、 设 备及存储介质 (57)摘要 本发明实施例公开了一种基于多视角视频 的行为检测方法、 装置、 设备及存储介质。 包括： 对目标场景中的多视角视频数据进行目标检测， 获得目标检测结果； 对所述目标检测结果对应的 目标进行特征提取， 获得各目标检测结果对应的 表观特征； 根据所述表观特征对 所述目标分配目 标标识； 对于同一个目标标识， 确定所述目标标 识在各视角下的初始行为检测结果； 将所述各视 角的初始行为检测结果进行融合， 获得所述目标 标识对应的行为检测结果。 本发 明实施例提供的 基于多视角视频的行为检测方法， 基于多个视角 的视频流确定目标任务的行为类别， 可以提高对 人物行为检测的准确性。 权利要求书2页 说明书8页 附图4页 CN 115359553 A 2022.11.18 CN 115359553 A 1.一种基于多视角视频的行为检测方法， 其特 征在于， 包括： 对目标场景中的多视角视频 数据进行目标检测， 获得目标检测结果； 对所述目标检测结果对应的目标进行特征提取， 获得各目标检测结果对应的表观特 征； 根据所述表 观特征对所述目标分配目标 标识； 对于同一个目标 标识， 确定所述目标 标识在各视角下的初始行为检测结果； 将所述各视角的初始行为检测结果进行融合， 获得所述目标标识对应的行为检测结 果。 2.根据权利要求1所述的方法， 其特征在于， 对目标场景中的多视角视频数据进行目标 检测， 获得目标检测结果， 包括： 将目标场景中的多视角视频数据输入训练后的目标检测模型中， 输出各视角下每个视 频帧的目标检测结果； 其中， 所述目标检测结果包括目标检测框的位置信息 。 3.根据权利要求1所述的方法， 其特征在于， 根据 所述表观特征对所述目标分配目标标 识， 包括： 对于当前视频帧中各视角下的表 观特征， 确定各视角下的表 观特征的第一相似度； 将第一相似度大于第一设定阈值的表 观特征对应的目标进行关联； 对关联目标分配相同的目标 标识。 4.根据权利要求3所述的方法， 其特 征在于， 对关联目标分配相同的目标 标识， 包括： 确定关联目标的表 观特征与缓存的表 观特征间的第二相似度； 若所述第二相似度大于或等于第 二设定阈值， 则将所述缓存的表观特征的目标标识分 配至所述关联目标； 若所述第二相似度小于第二设定阈值， 则创建新的目标标识， 并将所述新的目标标识 分配至所述关联目标。 5.根据权利要求3所述的方法， 其特征在于， 在对关联目标分配相同的目标标识之后， 还包括： 对于分配有同一目标 标识的目标， 确定所述目标在各视角下的运动轨 迹； 确定各视角下的运动轨 迹间的第三相似度； 若所述第三相似度小于第三阈值， 则对分配有同一目标标识的目标重新分配目标标 识。 6.根据权利要求5所述的方法， 其特征在于， 确定所述目标在各视角下的运动轨迹， 包 括： 对于当前视角， 将所述目标在视频帧中的图像坐标转换为世界坐标； 基于目标在所述当前视角下 各视频帧的世界坐标确定初始轨 迹； 对所述初始轨 迹进行平 滑处理， 获得所述目标在当前视角的运动轨 迹。 7.根据权利要求1所述的方法， 其特征在于， 确定所述目标标识在各视角下的初始行为 检测结果， 包括： 在当前视角下， 将所述目标标识对应的目标检测结果输入设定行为分析模型， 输出当 前视角的行为类别及置信度； 相应的， 将所述各视角的初始行为检测结果进行融合， 获得所述目标标识对应的行为权　利　要　求　书 1/2 页 2 CN 115359553 A 2检测结果， 包括： 基于所述置信度对各视角下的行为类别进行加权求和， 获得 行为类别的融合置信度； 将置信度最高的行为类别确定为所述目标 标识对应的行为检测结果。 8.一种基于多视角视频的行为检测装置， 其特 征在于， 包括： 目标检测模块， 用于对目标场景中的多视角视频数据进行目标检测， 获得目标检测结 果； 特征提取模块， 用于对所述目标检测结果对应的目标进行特征提取， 获得各目标检测 结果对应的表 观特征； 目标标识分配模块， 用于根据所述表 观特征对所述目标分配目标 标识； 初始行为检测结果确定模块， 用于对于同一个目标标识， 确定所述目标标识在各视角 下的初始行为检测结果； 行为检测结果获取模块， 用于将所述各视角的初始行为检测结果进行融合， 获得所述 目标标识对应的行为检测结果。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序， 所述计算机程序被所 述至少一个处理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑7中任一项所述的 基于多视角视频的行为检测方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机指 令， 所述计算机指令用于使处理器执行时实现权利要求1 ‑7中任一项所述的基于多视角视 频的行为检测方法。权　利　要　求　书 2/2 页 3 CN 115359553 A 3