(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210561631.5 (22)申请日 2022.05.23 (71)申请人 长安大学 地址 710064 陕西省西安市二环南路中段 126号长安大 学 (72)发明人 房建武　杨晶　周俊飞　席江波　 (74)专利代理 机构 西安睿通知识产权代理事务 所(特殊普通 合伙) 61218 专利代理师 蔡龙宝 (51)Int.Cl. G06V 20/54(2022.01) G06V 10/40(2022.01) G06V 10/62(2022.01) G06V 10/74(2022.01) G06V 10/762(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于时空对比无监督学习的车辆再识 别方法 (57)摘要 本发明涉及道路监控视频车辆检测领域， 具 体涉及一种基于时空对比无监督学习的车辆再 识别方法。 通过利用视觉时孔特征提取模型， 融 合了摄像机编号、 时间戳记等时空信息和图片本 身的视觉信息， 构造出了更具代表性的融合特 征， 实现了对摄像机身份编号以及时间戳记的有 效利用， 通过时空信息对无监督车辆再识别模型 加以约束， 提升 了模型的精度。 权利要求书2页 说明书4页 附图1页 CN 114998848 A 2022.09.02 CN 114998848 A 1.一种基于时空对比无监 督学习的车辆再识别方法， 其特 征在于， 包括以下步骤： 步骤1， 从道路监控视频中提取多张具有摄像机编号标签和时间戳记标签的车辆图像， 构成训练集； 步骤2， 建立融合特征提取模型， 提取训练集图片的视觉时空融合特征和时空特征； 将 时空特征输入至时空区间分类 器， 得到时空评分； 步骤3， 根据视觉时空融合特征计算训练集中两两图片之间的杰卡德距离， 得到M ×M的 杰卡德距离矩阵， 其中M为训练集中图片的张数； 步骤4， 依据杰卡德距离矩阵， 使用密度聚类算法DBSCAN对训练集图片的视觉时空融合 特征进行聚类， 为训练集图片分配伪标签； 步骤5， 构造融合特 征字典； 步骤6， 计算训练集图片的融合特征与融合特征字典的对比损失， 计算训练集图片的时 空评分与时空区间的交叉熵损失； 利用对比损失与交叉熵损失之和训练融合特征提取模 型； 步骤7， 使用训练好的融合特征提取模型， 从道路监控视频中提取具有摄像机编 号标签 和时间戳记标签的待识别车辆图像， 提取待识别车辆的视觉时空融合特征； 使用训练好的 融合特征提取模型， 从道路监控视频中提取出提取具有摄像机编号标签和时间戳记标签的 所有车辆图像， 分别提取每 个车辆的视 觉时空融合特 征； 步骤8， 分别计算待识别车辆的视觉时空融合特征与每个车辆的视觉时空融合特征之 间的欧氏距离； 欧式距离越小， 则该视觉时空融合特征对应的车辆越有可能与待识别车辆 为同一车辆 。 2.根据权利要求1所述的基于时空对比无监督学习的车辆再识别方法， 其特征在于， 步 骤2中的融合特征提取模型， 具体的， 融合特征提取模 型包含深度残差网络ResNet50与多层 感知机MLP； 深度残差网络ResNet50的网络输入为大小为H ×W×3的RGB图片， 网络输出为视 觉特征； 多层感知机MLP的网络输入为摄像机编号和时间戳记， 网络输出为时空特征； 深度 残差网络ResNet50的网络输出与多层感知机MLP的网络输出进行残差融合， 得到视觉时空 融合特征。 3.根据权利要求1所述的基于时空对比无监督学习的车辆再识别方法， 其特征在于， 提 取训练集图片的视 觉时空融合特 征的子步骤如下： 子步骤2.1， 将训练集中的图片转换为大小为H ×W×3的RGB图片； 子步骤2.2， 将RGB图片输入深度残差网络ResNet50， 得到RGB图片的视觉特征； 将训练 集图片中的摄 像机编号和时间戳记输入多层感知机 MLP， 得到训练集图片的时空特 征； 子步骤2.3， 将训练集中每张图片的视觉特征和时空特征进行残差 融合， 得到视觉时空 融合特征。 4.根据权利要求1所述的基于时空对比无监督学习的车辆再识别方法， 其特征在于， 步 骤5的构造融合特征字典， 具体的， 首先统计训练集所有图片的摄像机编号和时间戳记， 对 每个摄像机下的图片划分时间区间； 其次， 在训练集每个伪标签类别的每个时空区间中随机抽取一张图片的距离时空融合 特征， 计算训练集每 个伪标签 类别下全部时空区间的距离时空融合特 征的平均值； 最后， 将平均值作为对应伪标签类别的代表特征， 构造大小为C ×L的融合特征字典； 其权　利　要　求　书 1/2 页 2 CN 114998848 A 2中C为伪标签的类别数， L 为特征的维度大小。 5.根据权利要求1所述的基于时空对比无监督学习的车辆再识别方法， 其特征在于， 步 骤6中的对比损失， 具体的， 对比损失L1的计算公式如下： 式中， F表示训练集图片的视觉时空融合特征； fs表示融合特征字典中存储的与训练集 图片为同一个伪标签的视觉时空融合特征； Fs表示融合特征字典中存储视觉时空融合特征 的集合； τ表示温度参数， 为 一个值为0.1的常数。 6.根据权利要求1所述的基于时空对比无监督学习的车辆再识别方法， 其特征在于， 步 骤6中的交叉熵损失， 具体的， 交叉熵损失L2的计算公式如下： L2＝Σ‑y×log(p/ τ ) 式中， y表示训练集图片的时空区间； p表示训练集图片的时空评分； τ表示温度参数， 为 一个值为0.1的常数。权　利　要　求　书 2/2 页 3 CN 114998848 A 3