(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210825871.1 (22)申请日 2022.07.14 (71)申请人 南京慧安炬创信息科技有限公司 地址 210003 江苏省南京市 鼓楼区广东路 38号物联网科技园大楼3层3 01 (72)发明人 王宇翱　郭永安　吴庆鹏　黄浩　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 李淑静 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/52(2022.01) G06V 10/56(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于多特征融合的复杂人群动态目标 识别方法及装置 (57)摘要 本发明公开了一种基于多特征融合的复杂 人群动态目标识别方法及装置。 所述方法包括： 对目标进行选 取以及提取目标的颜色特征和LBP 特征， 并初始化样本； 度量目标区域的颜色特征 与LBP特征之间的相似度， 赋予不同的权值， 并对 权值进行归一化处理； 根据样本的位置和权重， 判断目标在视频帧中的位置， 并根据样本权重判 断是否需要对目标进行重新采样 。 本发明能够在 复杂人群中对目标进行准确识别， 从而在目标受 到其他物体干扰、 目标被部分遮挡、 背景较复杂 时具有较高的识别精度。 权利要求书3页 说明书7页 附图2页 CN 115223223 A 2022.10.21 CN 115223223 A 1.一种基于多特 征融合的复杂人群动态目标识别方法， 其特 征在于， 包括以下步骤： S1、 选定目标区域并获取第一帧中的目标的颜色特 征和LBP特 征； S2、 对目标的两种特征进行权重赋值和归一化处理， 得到归一化目标特征， 并将两种特 征融合形成目标模板； S3、 对目标 所在区域进行重采样， 提取目标区域的颜色特 征和LBP特 征； S4、 将目标 区域的颜色特征和LBP特征与目标模板进行对比， 对目标 区域的两种特征进 行权重赋值和归一化处理， 得到归一化 目标区域特征， 形成包含目标模板和目标区域特征 的初始样本； S5、 将初始样本输入卡尔曼滤波器， 利用卡尔曼滤波预测下一时刻的归一化目标区域 特征， 在预测的归一化 目标区域特征中找到与归一化 目标特征相似度最大 的区域， 标记为 预测目标区域； S6、 针对预测目标区域， 对预测的归一化目标 区域特征进行反归一化处理并去除权重， 得到预测目标区域颜色特征矩阵和LBP特征矩阵， 根据两个矩阵在视频中找到相似度最大 区域T； S7、 获取T区域的目标区域特征， 取T区域目标区域特征和预测目标区域特征之和的平 均值作为最 终目标区域特征， 在最终目标区域特征中找到与前一时刻目标特征相似度最大 的区域作为最 终目标特征， 最 终目标特征在 T区域目标区域特征中的位置 即为目标在 T区域 中的位置； S8、 根据预测的目标区域特征与最终目标区域特征之间的差值， 通过反向传播法更新 特征融合的比例分配权重， 对T区域特征和目标特征进行权重赋值和归一化处理， 更新样 本； S9、 利用更新后的样本 重复执行步骤S5 ‑S8， 直到视频结束或停止识别。 2.根据权利要求1所述的基于多特征融合的复杂人群动态目标识别方法， 其特征在于， 所述步骤S2包括： 将目标的颜色特征矩阵记为S， 目标的LBP特征矩阵记为L， 初始化权重矩阵分别 为Ws和 Wl， 令： S_f＝S*Ws L_f＝L*Wl 上述公式中的*符号代表矩阵的每个位置对应相乘， 并进行归一化处理， 对于矩阵S和 L， 归一化公式分别为： 其中L_f_a、 S_f_a分别是矩阵L_f和矩阵S_f的归一化形式， 下标i， j代表矩阵中 的i行j 列元素位置； L_fmin， L_fmax， S_fmin， S_fmax分别代表矩阵L_f中的最小值， 矩阵L_f中的最大 值， 矩阵S_f中的最小值， 矩阵S_f中的最大值； 将归一化目标矩阵L_f_a、 S_f_a进行 特征融合得到目标模板 。 3.根据权利要求2所述的基于多特征融合的复杂人群动态目标识别方法， 其特征在于，权　利　要　求　书 1/3 页 2 CN 115223223 A 2所述步骤S 3包括： 在以目标为中心的指 定范围内提取颜色特征和LBP特征， 分别记 为目标区 域颜色特征矩阵S ′和目标区域LBP特征矩阵L ′， 则矩阵S和矩阵L分别为矩阵S ′和矩阵L′的 子矩阵。 4.根据权利要求3所述的基于多特征融合的复杂人群动态目标识别方法， 其特征在于， 所述步骤S4包括： 令矩阵L ′_f和矩阵S ′_f分别为L ′和S′的权重矩阵， 显然L_f和S_f分别为 L′_f和S′_f的一部分， 矩阵L ′_f和矩阵S ′_f的其余位置的权重按照L ′和S′已映射为L ′_f和 S′_f的映射关系进行赋值， 最终得到目标区域颜色特征权重赋值矩阵S ′_f和LBP特征权重 赋值矩阵L ′_f， 再对两个矩阵分别进行归一化操作， 得到矩阵S ′_f_a和矩阵L ′_f_a， 经过特 征融合得到归一 化的目标区域特 征。 5.根据权利要求1所述的基于多特征融合的复杂人群动态目标识别方法， 其特征在于， 所述步骤S6包括： 预测的归一化目标区域特征包含目标区域颜色特征矩阵S ′_f_ap和目标区域LBP特征 矩阵L′_f_ap， 对两个矩阵进行反归一 化， 对于一个矩阵A来说， 反归一 化公式如下： Ai， j＝Ai， j*(max‑min)+min 在对矩阵S ′_f_ap进行反归一化时， 取前一时刻的S ′_f矩阵的最大值为max进行计算， 取其最小值为min， 同理对矩阵L ′_f_ap进行反归一化， 得到预测的赋权矩阵S ′_f_p和L′_f_ p， 再分别对两个矩阵权重进行去除， 得到预测目标区域颜色特征矩阵和预测目标区域LBP 特征矩阵， 根据这两个矩阵在视频中找到相似度最大区域T。 6.一种基于多特 征融合的复杂人群动态目标识别装置， 其特 征在于， 包括： 目标特征提取模块， 选 定目标区域并获取第一帧中的目标的颜色特 征和LBP特 征； 目标模板形成模块， 对目标的两种特征进行权重赋值和归一化处理， 得到归一化目标 特征， 并将两种特 征融合形成目标模板； 目标区域特征提取模块， 对目标所在区域进行重采样， 提取目标区域的颜色特征和LBP 特征； 初始样本形成模块， 将目标 区域的颜色特征和LBP特征与目标模板进行对比， 对目标区 域的两种 特征进行权重赋值和归一化处理， 得到归一化 目标区域特征， 形成包含目标模板 和目标区域特 征的初始样本； 预测目标区域确定模块， 将初始样本输入卡尔曼滤波器， 利用卡尔曼滤波预测下一时 刻的归一化目标区域特征， 在预测的归一化目标区域特征中找到与归一化目标特征相似度 最大的区域， 标记为预测目标区域； T区域确定模块， 针对预测目标区域， 对预测的归一化目标区域特征进行反归一化处理 并去除权重， 得到预测目标区域颜色特征矩阵和LBP特征矩阵， 根据两个矩阵在视频中找到 相似度最大区域T； 目标确定模块， 获取T区域的目标区域特征， 取T区域目标区域特征和预测目标区域特 征之和的平均值作为最终目标区域特征， 在最终目标区域特征中找到与前一时刻目标特征 相似度最大 的区域作为最终目标特征， 最终目标特征在T区域 目标区域特征中的位置即为 目标在T区域中的位置； 样本更新模块， 根据预测的目标区域特征与最终目标区域特征之间的差值， 通过反向 传播法更新特征融合的比例分配权重， 对T区域特征和目标特征进行权重赋值和归一化处权　利　要　求　书 2/3 页 3 CN 115223223 A 3