(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210657258.3 (22)申请日 2022.06.10 (71)申请人 沈阳瞻言科技有限公司 地址 110167 辽宁省沈阳市 浑南区上深沟 村860-1号沈阳国际软件园F区7座 102A室 (72)发明人 赵佳文　王磊　周晓　孙岩　 (74)专利代理 机构 沈阳科苑专利商标代理有限 公司 210 02 专利代理师 王倩 (51)Int.Cl. G06T 7/292(2017.01) G06T 7/70(2017.01) G06V 40/16(2022.01) G06V 20/40(2022.01)G06V 20/52(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种跨镜 头人员跟踪和重识别方法及系统 (57)摘要 本发明属于人工智能视觉识别领域， 具体涉 及一种跨镜头人员跟踪和重识别的方法及系统， 包括以下步骤： 预设参照信息； 人员检测模块从 相机获取照片的视频流， 生 成单个镜头内唯一的 检测ID； 跟踪模块对目标生 成单个镜头内的唯一 跟踪ID即为TID， 并分别发送至 人脸检测模 块、 特 征提取模块以及位置映射模块， 进而针对含有 TID的跟踪目标进行识别； 并将结果传输至综合 融合模块； 综合融合模块通过动态多特征融合算 法融合多镜头目标得到唯一全局目标ID即GID， 并将GID传输至展示模块。 本发明的动态多特征 融合算法融合算法， 解决了多个相机检测相同目 标导致的人员重复， 人员ID不唯一问题。 权利要求书3页 说明书8页 附图1页 CN 114972445 A 2022.08.30 CN 114972445 A 1.一种跨镜 头人员跟踪和重识别的方法， 其特 征在于， 包括以下步骤： 1)预设参照信息： 通过不同位置相机拍摄人员及人脸照片， 从多个角度的照片获取对 应特征向量值； 2)人员检测模块从相机获取照片的视频流， 生成单个镜 头内唯一的检测ID即为DID； 3)跟踪模块在人员检测模块识别的目标的基础上对其进行跟踪， 生成单个镜头内的唯 一跟踪ID即为TID， 并分别发送至人脸检测模块、 特征提取模块以及位置映射模块， 进而针 对含有TID的跟踪目标进行识别； 4)人脸检测模块从含有TID的跟踪目标中进行人脸检测， 得到人脸检测信息， 并将人脸 检测信息形成N维度的人脸特 征向量FV， 并传输 至综合融合模块； 5)特征提取模块将含有TID的跟踪目标进行特征提取， 得到2N维的特征向量CV， 并传输 至综合融合模块； 6)位置映射模块将根据含有TID的跟踪目标映射为全局坐标位置向量PV， 并传输至综 合融合模块； 7)综合融合模块， 将单个镜头内的唯一跟踪TID、 N维度的人脸特征向量FV、 2N维的特征 向量CV， 以及预设的参照信息通过动态多 特征融合算法融合多镜头目标得到唯一全局目标 ID即GID， 并将GID传输 至展示模块。 2.根据权利要求1所述的一种跨镜头人员跟踪和重识别的方法， 其特征在于， 步骤2) 中， 所述生成单个镜 头内唯一的检测DID， 包括以下步骤： 所述DID为： 由左上点 坐标、 右下点 坐标、 目标框 宽、 目标框高构成的目标框； 2‑1)从相机 视频流中获取一帧图像； 2‑2)人员检测模块通过YOLOX检测算法进行人员检测， 并将图像以长*宽*通道数组成 的张量信息传入YOLOX深度网络； 2‑3)YOLOX深度网络处理后， 反馈当前图像中的人员位置坐标以及宽高组成单个镜头 内唯一的人员检测DID至跟踪模块。 3.根据权利要求1所述的一种跨镜头人员跟踪和重识别的方法， 其特征在于， 所述步骤 3)， 包括以下步骤： 3‑1)跟踪模块从在人员检测结果的基础上通过ByteTrack多 目标跟踪算法进行跟踪， 并保留全部检测结果， 并将检测结果分为高分值组与低分值组； 所述高分值组与检测结果中的跟踪目标相关联； 所述低分值组与检测结果中未匹配的跟踪目标相关联， 且过 滤背景； 3‑2)设定检测阈值T_high、 检测阈值T_low与跟踪阈值E， 输入相机获取视频流中的每 一帧图像， 输出为检测出的人员的坐标以及个镜 头内唯一的检测ID， 即DID； 3‑3)进行第一次数据匹配： 高分值组与全部跟踪 目标， 将大于检测阈值T_high的目标 归入高分值组； 基于IoU计算相似度， 再通过匈牙利算法完成匹配； 此时， 未匹配的跟踪 结果 予以保留； 3‑4)进行第二次数据匹配： 低分值组与剩余的跟踪目标， 介于T_hi gh与T_low之间的目 标归入低分值组； 完成匹配后， 保留本次未匹配的跟踪目标， 并丢弃仍未匹配到的跟踪结 果； 3‑5)通过卡尔曼 滤波器预测已跟踪目标的下一个位置；权　利　要　求　书 1/3 页 2 CN 114972445 A 2所述已跟踪目标的下一个位置来源于未被匹配的高分值检测结果； 3‑6)对于每一个检测结果， 如果其分值 高于跟踪阈值E且在连续两帧图像中出现， 则将 其纳入跟踪目标集合中， 并生 成唯一跟踪TID， 跟踪模块将TID信息被送至人脸检测模块、 特 征提取模块以及位置映射模块。 4.根据权利要求1所述的一种跨镜头人员跟踪和重识别的方法， 其特征在于， 所述步骤 5)具体为： 对于一个角度人员照片， 获取 人员的特 征向量： a)从相机 视频流中获取一帧人员的图像； b)跟踪模块将人员的图像以长 *宽*通道数组成的张量信息传入CTL模型； c)CTL模型通过深度模型输出获得 特征向量CV。 5.根据权利要求1所述的一种跨镜头人员跟踪和重识别的方法， 其特征在于， 所述步骤 6)， 包括以下步骤： 6‑1)通过选择某个相机坐标系中的指定的不可移动的物体坐标点， 该坐标点同时存在 于某个相机和实际场景全局图； 6‑2)将多个相机的坐标对信息和全局坐标点的坐标对信息， 通过平面单应性矩阵建立 映射关系； 6‑3)通过映射关系， 对相机中的视角位置坐标与实际坐标进行映射 转换。 6.根据权利要求1所述的一种跨镜头人员跟踪和重识别的方法， 其特征在于， 步骤7) 中， 所述动态多特 征融合算法， 具体为： 综合融合模块， 将单个镜头内的唯一跟踪TID、 N维度的人脸特征向量FV、 2N维的特征向 量CV进行融合， 即： 基于全局动态Bo ltzmann的策略选择 S＝tf·PF+tp·PP+tc·CP 其中， tf为人脸检测结果的全局动态温控系数， tp为位置检测结果的全局动态温控系 数， tc为重识别属性识别结果的全局动态温控系数， PF为多摄像头人脸检测相似度结果， PP 为多摄像头位置检测相似度结果， CP为多摄 像头重识别属性识别相似度结果。 7.根据权利要求6所述的一种跨镜头人员跟踪和重识别的方法， 其特征在于， 所述多摄 像头人脸检测相似度PF为： 其中， a， b分别为参照信息的特征向量和跟踪目标的特征向量， 则ai和bi分别为对应特 征向量中的第i个值； 所述多摄 像头位置检测相似度P P为： 其中， x， y为 一个点的位置坐标， xi和yi分别为对应点x和点y的第i个点的位置坐标； 所述多摄 像头重识别属性识别相似度CP为：权　利　要　求　书 2/3 页 3 CN 114972445 A 3