(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210579638.X (22)申请日 2022.05.26 (65)同一申请的已公布的文献号 申请公布号 CN 114677633 A (43)申请公布日 2022.06.28 (73)专利权人 之江实验室 地址 310023 浙江省杭州市余杭区中泰街 道之江实验室南湖总部 专利权人 浙江工商大 学 (72)发明人 张文广　王军　徐晓刚　何鹏飞　 曹卫强　朱亚光　 (74)专利代理 机构 杭州浙科专利事务所(普通 合伙) 33213 专利代理师 孙孟辉　杨小凡(51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/74(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 周亚芳 (54)发明名称 基于多部件特征融合的行人检测多目标跟 踪系统及方法 (57)摘要 本发明公开了基于多部件特征融合的行人 检测多目标跟踪系统及方法， 首先， 获取行人图 像数据集并进行行人多部件标注； 其次， 构造并 训练基于多部件特征融合的行人检测多目标跟 踪系统， 系统包括沙漏模块、 目标尺寸回归模块、 目标中心点偏移回归模块、 目标中心点热度图模 块和多部件特征融合模块； 然后， 基于所述训练 得到的模型进行推理获取单帧行人检测结果及 多帧的行人融合特征； 其次， 计算当前帧检测得 到的行人特征与前一帧轨迹的融合特征的相似 度； 最终， 利用所述相似度矩阵进行数据关联， 生 成当前帧的行人轨迹， 并更新轨迹的特征。 本方 法耗时较低， 且 对遮挡问题鲁棒 性较好。 权利要求书3页 说明书11页 附图4页 CN 114677633 B 2022.12.02 CN 114677633 B 1.一种基于多部件特 征融合的行 人检测多目标跟踪方法， 其特 征在于包括如下步骤： 步骤S1： 获取 行人图像数据集并对行 人部件进行 标注； 步骤S2： 构造并训练基于多部件特征融合的行人检测多目标跟踪系统； 首先回归得到 行人的P类部件 对应的多部件特 征， 对多部件特 征进行融合， 得到多部件融合特 征； 步骤S3： 基于训练得到的系统进行推理， 获取单帧行人检测结果及多帧的行人融合特 征， 使用训练好的系统， 检测得到的行人多部件， 通过单个部件搜索最近邻其他部件， 组合 成一个人体； 步骤S4： 计算当前帧检测得到的所述人体的多部件融合特征与前一帧轨迹的融合特征 的相似度； 根据步骤S2获取 的当前帧的多部件融合特征， 与当前帧之前的历史轨迹的融合 特征进行相似度比较， 历史轨 迹第j个轨 迹的特征表示为 ， ， k为特征融合的总帧数； 步骤S5： 利用相似度矩阵进行 数据关联， 生成当前帧的行 人轨迹， 并更新轨 迹的特征。 2.根据权利要求1所述的基于多部件特征融合的行人检测多目标跟踪方法， 其特征在 于： 所述步骤S1 中， 使用矩形框对视频的每帧图像的行人部件进 行框注， 包括头肩区域标注 为类别0、 躯干区域标注为类别1和腿部区域标注为类别2， 相同区域标注相同的身份识别 号； 所述步骤S3中， 如果没有检测到头肩区域， 则按照躯干区域搜索最近的腿部区域， 然后 将目标框组合成人体， 如果仅检测到腿部区域， 则按照误检处 理。 3.根据权利要求1所述的基于多部件特征融合的行人检测多目标跟踪方法， 其特征在 于： 所述步骤S2中， 系统的总损失函数包括分类损失函数和检测损失函数， 分类损失函数采 用多部件融合特征分类损失函数， 第i个行人 的多部件特征经全连接层得到多部件分类输 出， 通过多部件分类输出、 第t帧图像中第i个行人中是否检测到了该部件， 以及各类部件在 融合分类中的占比， 得到第i个行人 的多部件融合分类输出； 最终第t帧的损失函数为检测 损失函数与分类损失函数平均和。 4.根据权利要求3所述的基于多部件特征融合的行人检测多目标跟踪方法， 其特征在 于： 所述步骤S2中 ， 系统首先回归得到人体P类部件， 对应的多部件特征则用 表示， 其中i表示第i个行人， n表示在t ‑k帧到t帧内 检 测 到 同 一 个 行 人 的 同 一 个 部 件 的 次 数 ，对 应 的 多 部 件 融 合 特 征 用 表示。 5.根据权利要求4所述的基于多部件特征融合的行人检测多目标跟踪方法， 其特征在 于： 所述步骤S2中分类损失函数， 第i个行人的多部件特征 经过全连接层， 得到多部件权　利　要　求　书 1/3 页 2 CN 114677633 B 2分类输出 ， 则第i个行 人的多部件融合分类输出表示 为： 其中 为第t帧第i个多部件 特征 经过全连接层得到多部件分类输出， αP为P个部 件在融合分类中的占比权重， 且满足 α0+α1+…+αP=1， 为第t帧图像中第i个行人中是否 检测到了该部件， 如果未检测到则数值为0， 否则数值则为1， 表示为 ， 分类损失函数为当前t帧内， 检测得到的所有m个目标的多部件融合特征分类损失的平均 和， 公式表示 为： 其中C表示按行人分类的类别个数， 在训练中则为整个训练集轨迹的个数， 最终t帧的 分类损失函数表示 为： 。 6.根据权利要求3所述的基于多部件特征融合的行人检测多目标跟踪方法， 其特征在 于： 所述步骤S2中的检测损失函数采用L1损失函数， 令第i个部件的检测L1损失函数为 ， 则检测损失函数表示为 ， 其中m为训练数据集第t帧中总 的行人个数。 7.根据权利要求3所述的跟踪方法， 其特征在于： 所述步骤S3中， 使用训练好的系统， 检 测得到的行人P 个部件目标框， 通过单个部件搜索最近邻其他部件， 组合 成一个人体； 第i个 目标框的P部件用 表示， 其中x， y， w， h分别表示目标框中心点的坐标和目标框的宽高， 第i个组合人体的目标框表示为权　利　要　求　书 2/3 页 3 CN 114677633 B 3