(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211008836.7 (22)申请日 2022.08.22 (71)申请人 常州素问九州医疗科技有限公司 地址 213149 江苏省常州市 常州西太湖科 技产业园长扬路9号医疗产业孵化园 A5栋5楼 (72)发明人 张丽　林必贵　 (74)专利代理 机构 佛山知正知识产权代理事务 所(特殊普通 合伙) 44483 专利代理师 田琦 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 40/16(2022.01)G06V 10/24(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种用于目标人物的跟踪方法 (57)摘要 本发明公开了一种用于目标人物的跟踪方 法， 属于视觉目标跟踪技术领域， 包括： S1、 运动 模型建立： 运动模型主要对目标在视频中的运动 轨迹进行建模和估计， 生 成候选样 本的速度与质 量直接决定了跟踪系统表现的优劣， S2、 特征提 取： 依据运动模型确定当前帧的目标搜索范围 后， 接下来需要对候选区域 或候选样本进行特征 提取， S3、 观测模型： 根据观测模型的不同， 跟踪 算法大体上可以分为生成式和判别式跟踪器， 生 成式模型仅仅使用前景的目标信息来构造跟踪 模型， 通过衡量候选样本的重构误差或相似性来 挑选最优样 本。 本发明在实现对视频目标跟踪的 基础上， 还 可以对患者的特征信息进行多角度提 取， 且可以同时多个目标进行跟踪。 权利要求书3页 说明书7页 附图3页 CN 115457079 A 2022.12.09 CN 115457079 A 1.一种用于目标 人物的跟踪方法， 其特 征在于， 包括： S1、 运动模型建立： 运动模型主要对目标在视频中的运动轨迹进行建模和估计， 生成候 选样本的速度与质量 直接决定 了跟踪系统表现的优劣； S2、 特征提取： 依据运动模型确定当前帧的目标搜索范围后， 接下来需要对候选区域或 候选样本进行 特征提取； S3、 观测模型： 根据观测模型的不同， 跟踪算法大体上可以分为生成式和判别式跟踪 器， 生成式模型仅仅使用前景 的目标信息来构造跟踪模型， 通过衡量候选样本的重构误差 或相似性 来挑选最优样本； S4、 模型更新： 稀疏表达跟踪器利用新收集的正样本来更新稀疏字典； 基于SVM的跟踪 算法使用后续帧中收集的正、 负样本来更新决策平面， 相关滤波器将后续桢中得到的滤波 器以指数型滑动平均的策略更新初始滤波器； 基于分类网络的跟踪器不断收集新的正、 负 样本来在线微调分类网络； S5、 跟踪数据集更新： 跟踪数据集包含OTB ‑2013和OTB ‑2015两个版本。 其中OTB ‑2013包 含51个以往跟踪 领域的常用测试视频， 该数据集及评价标准为跟踪算法提供了统一的测试 与评估环境， OTB ‑2015数据集是OTB ‑2013的扩充， 共包含100个挑战性视频， 该数据集还对 视频标出了遮挡、 形变、 快速运动、 光照变化、 模糊10个视频属性， 便于分析跟踪器应对不同 场景的能力； S6、 人脸锁定： 根据S4和S5对患者人脸进行多次取样后对患者人脸进行跟踪。 2.根据权利要求1所述的一种用于目标人物的跟踪方法， 其特征在于， 在所述S1每一帧 中， 采用CAM  Shift目标跟踪算法， 所述CAM  Shift目标跟踪算法用标准RGB颜色空间16等级 量化来表征目标颜色外观， 考虑到目标中心 区域重要性和目标外 围点易受噪声影响， 对不 同位置像素点采用核函数方法赋予不同权重， 通过将颜色和灰度图像边缘检测方法相结合 来建立目标 联合概率密度分布图。 3.根据权利要求1所述的一种用于目标人物的跟踪方法， 其特征在于， 所述S2特征提取 中鉴别性的特征表示是目标跟踪的关键之一， 根据目标的情况选择不同的特征表示， 常用 的特征采用深度特征， 所述深度特征是通过大量的训练样本学习 出来的特征， 利用深度特 征的跟踪方法通常很轻松就能获得一个不错的效果在跟踪任务中， 良好的特征表达不仅需 要刻画候选目标丰富的、 鲁棒的、 具有(旋转、 形变和光照)不变性的外观表达， 颜色直方图 的统计特性使得这类算法可以更加鲁棒地处理目标形变， 深度相关滤波器算法普遍地采用 多层CNN特征， 将特征提取网络和相关滤波器进 行联合训练， 使 得深度特征更加适合于相关 滤波算法， 相关滤波器的建模方式被广泛地应用于跟踪框架中， 基于 分类网络的跟踪器(如 MDNet、 VITAL)主要采用VGG ‑M网络进行特征提取并在线地训练全连接层进行样本分类， 且 所述CAM Shift目标跟踪算法采用ResNet ‑50网络。 4.根据权利要求1所述的一种用于目标人物的跟踪方法， 其特征在于， 所述S3 中常见的 生成式跟踪框架包含稀疏表达和子空间学习， 所述判别式跟踪器同时考虑前景信息和背 景 信息， 以学习到具有 区分为的判别式模型， 所述判别式跟踪器包括随机森林分类器、 SVM跟 踪器和相关滤波器， 所述生成式模型基于子空间学习的跟踪算法， 所述生成式模型算法的 核心思想在于将特征从高维到低维进行映射， 从而构造一系列子空间对目标外观进行建 模， 进一步计算候选样本在子空间下 的重构误差或相似性以挑选出最可能的目标， 所述判权　利　要　求　书 1/3 页 2 CN 115457079 A 2别式模型基于SVM的跟踪算法通过SVM学习的分类器模型来区分正负样本， 所述相关滤波器 的跟踪算法通过学习一个具有区分为的滤波器来处理待跟踪图片， 其输出结果为一个响应 图， 表示目标在后续帧中不同位置的置信度， 所述相关滤波器通过利用循环样本和循环矩 阵的性质求解岭回归问题， 将不同层的深度特征分别训练相关滤波器并进行由粗到精 (coarse to fine)的融合， 得到了频域上的高效闭合解， 随后使用交替方向乘子法进行优 化。 5.根据权利要求1所述的一种用于目标人物的跟踪方法， 其特征在于， 在S4中由于目标 遮挡、 形变、 跟踪漂移因素， 跟踪过程中收集的受污染正样本可能导致模型退化， 所述基于 SVM的跟踪算法通过挖掘困难负样本(hard  negative  mining)来增强算法的鲁棒性， 并且 通过设计损失函数来抑制冗余的负样本， 为了更好地适应目标外观变化， 所述基于SVM的跟 踪算法利用LSTM(Long  Short Term Memory)结构挖掘历史帧的模板信息以更新当前帧的 模板， 训练一个独立的卷积网络并利用历史模板在下一帧预测一个最优的模板特征， 所述 基于SVM的跟踪算法通过梯度信息更新模板， 一定程度上 可以抑制模板中的背景信息 。 6.根据权利要求1所述的一种用于目标人物的跟踪方法， 其特征在于， 在S2特征提取中 该深度跟踪网络包含一系列卷积层以提取候选样本的鲁棒特征表达， 并通过后续的全连接 层对样本进行二分类， 该方法使用分类式网络进行目标跟踪， 该视频中的目标可能成为其 他视频中的背 景物体， 引入了多 数据域的训练框架， 对搜索区域进 行共享特征提取， 然后再 使用ROI‑Align裁剪出候选样 本特征， 使 得精度仅有 轻微影响的情况下跟踪速度提高2.5倍 以上。 7.根据权利要求1所述的一种用于目标人物的跟踪方法， 其特征在于， 所述S2中RGB颜 色空间表征目标颜色提取的方法： 初始 化时建立目标颜色模型(比如脸的颜色、 手臂颜色和 皮肤颜色)， 在后继视频图像中用Sobel边缘检测算子对图像进行边缘检测， 由边缘和颜色 特征获得不同权 重的联合 概率密度分布图。 8.根据权利要求1所述的一种用于目标人物的跟踪方法， 其特征在于， 所述S5 中跟踪数 据集对于遮挡的解决方法： 利用检测机制判断目标是否被遮挡， 从而决定是否更新模板， 保 证模板对遮挡的鲁棒性， 把目标分成多个块， 利用没有被遮挡的块进 行有效地跟踪。 对于目 标被完全 遮挡的情况， 当前也并没有 有效的方法能够完全解决； 所述S5中视频跟踪数据集对于形变的解决发方法： 更新目标的表观模型， 使其适应表 观的变化； 所述S5中视频跟踪数据集对于背景杂斑的解决发方法： 利用目标的运动信息， 预测运 动的大致轨迹， 防止跟踪器跟踪到相似的其他 目标上， 或是利用目标周围的大量样本框对 分类器进行更新训练， 提高分类 器对背景与目标的辨别能力； 所述S5中视频跟踪数据集对于尺度变换的解决发方法： 在运动模型产生候选样本的时 候， 生成大量尺度大小不一的候选框， 或是在多个不同尺度目标上进 行目标跟踪， 产生多个 预测结果， 选择其中最优的作为 最后的预测目标。 所述S5中视频跟踪数据集对于运动模糊的解决发方法： 指目标或摄像机的运动 导致的 目标区域变模糊， 导致跟踪效果不佳。 常用均值偏移跟踪方法来进行跟踪， 无需去模糊， 利 用从运动模糊中得到的信息， 就能够完成跟踪目标。 所述S5中视频跟踪数据 集对于光照的解决发方法： 将S2中RGB颜色空间获取的RGB颜色权　利　要　求　书 2/3 页 3 CN 115457079 A 3