(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210979600.1 (22)申请日 2022.08.16 (71)申请人 太原理工大 学 地址 030024 山西省太原市迎泽西大街79 号 (72)发明人 张瑞亮　胡政政　王玮　 (74)专利代理 机构 北京东方盛凡知识产权代理 有限公司 1 1562 专利代理师 向离山 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/215(2017.01) G06T 5/00(2006.01) G06V 10/74(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多源传感器融合的车辆和行人检测跟 踪方法及系统 (57)摘要 本发明公开了一种基于多源传感器融合的 车辆和行人检测跟踪方法及系统， 包括： 对图像 数据进行去畸变与实例分割； 基于激光雷达点云 坐标获取稀疏点云深度图； 对深度图进行点云稠 密化， 获取稠密点云深度图； 将稠密点云进行体 素化和编码并特征映射， 获取映射的二维稠 密张 量； 基于热图和高斯分布函数获取二维目标中心 点位置， 对稠密张量进行一阶段特征回归， 获取 初步目标检测边界框； 获取边界框尺 寸和朝向的 细化特征和置信度预测值； 基于最近邻匹配与初 步目标检测边界框进行车辆和行人跟踪。 本发明 解决了单一传感器的漏检和误分类问题、 传感器 视野中尺度缩小和放大问题、 以及融合中因深度 特征压缩 扭曲导致的漏检和错误定位问题， 降低 了平均尺度误差 。 权利要求书2页 说明书15页 附图3页 CN 115272416 A 2022.11.01 CN 115272416 A 1.一种基于多源传感器融合的车辆和行 人检测跟踪方法， 其特 征在于， 包括以下步骤： 获取图像数据， 对所述图像数据进行去畸变与实例分割处 理， 获取检测对象范围； 基于所述检测对象范围与激光雷达点云坐标获取稀疏点云深度图； 对所述稀疏点云深度图进行点云稠密化， 获取稠密点云深度图； 将所述稠密点云深度图中的稠密点云进行体素化和编码处理并进行特征映射， 获取所 述稠密点云特 征在二维映射的稠密张量； 对所述稠密张量进行一阶段 特征回归， 获取初步目标检测边界框； 对所述初步目标检测边界框进行二阶段特征回归， 获取所述初步目标检测边界框的尺 寸和朝向的细化特 征和置信度预测值； 基于所述初步目标检测边界框与最近邻匹配进行 车辆和行 人跟踪。 2.根据权利要求1所述的基于多源传感器融合的车辆和行人检测跟踪方法， 其特征在 于， 对所述图像数据进行去畸变与实例分割处 理的过程包括： 对所述图像数据进行径向和切向畸变的坐标校准， 将所述图像数据进行区域划分， 获 取目标检测框和带有标签的像素区域， 基于所述目标检测框与所述像素区域 获取检测对象 范围。 3.根据权利要求1所述的基于多源传感器融合的车辆和行人检测跟踪方法， 其特征在 于， 基于所述检测对象范围与激光雷达点云坐标获取稀疏点云深度图的过程包括： 基于激光雷达空间坐标系、 摄像头空间坐标系、 图像坐标系和像素坐标系将二维图像 像素坐标与三维点云坐标相匹配。 4.根据权利要求1所述的基于多源传感器融合的车辆和行人检测跟踪方法， 其特征在 于， 对所述稀疏点云深度图进行点云稠密化的过程包括： 通过随机采样带有深度信 息的二维前景实体分割区域中的点， 在感兴趣视锥区域周围 采用最近邻检索深度估计； 取被关联上的点云深度作为当前像素的深度， 将匹配上的随机采样二维点投影回三维 空间得到虚拟点云， 使得此时的虚拟点云和原 来投影得到的稀疏点云同时具备实例分割中 的类别信息。 5.根据权利要求1所述的基于多源传感器融合的车辆和行人检测跟踪方法， 其特征在 于， 将所述稠密点云深度图中的稠密点云进 行体素化和 编码处理并进 行特征映射的过程包 括： 采用柱状单元编码的方式， 将所述稠密点云深度图中的不规则点云通过体素聚集， 基 于稀疏卷积网络处 理固定长宽高的体素信息， 将所述体素信息转换成二维地图视图。 6.根据权利要求1所述的基于多源传感器融合的车辆和行人检测跟踪方法， 其特征在 于， 对所述稠密张量进行一阶段 特征回归的过程中包括： 采用基于热图的中心点定位方法对所述稠密点云进行特征映射， 基于分类讨论获取最 小高斯半径值， 基于高斯分布 函数求解中心点定位的真实值， 对中心 点进行特征回归， 获取 初步目标检测 边界框的特征信息， 将对 象属性存储在检测对 象的中心点上， 并结合所述对 象属性获取初步三 维目标边界框； 所述对象属性包括中心 点热图信息、 中心 点定位偏移 量、 目标尺寸、 离地高度、 目标朝向、 目标速度。 7.根据权利要求1所述的基于多源传感器融合的车辆和行人检测跟踪方法， 其特征在权　利　要　求　书 1/2 页 2 CN 115272416 A 2于， 对所述初步目标检测边界框的特 征信息进行二阶段 特征回归的过程包括： 基于一阶段特征回归获得的初步三维目标边界框和特征信息， 提取额外点特征， 基于 双线性插值法， 在所述稠密点云特 征的映射稠密张量中提取对应特 征； 将所述对应特 征进行连接， 获取整体三维目标边界框特 征向量； 将所述整体三维目标边界框特征向量传递到多层感知器MLP中， 获取所述初步三维目 标边界框尺寸和朝向的细化特 征和置信度预测。 8.根据权利要求1所述的基于多源传感器融合的车辆和行人检测跟踪方法， 其特征在 于， 基于所述初步目标检测边界框与最近邻匹配进行 车辆和行 人跟踪的过程包括： 基于一阶段特征回归获得的特征信 息计算预测上一帧检测目标中心的位置， 提取当前 帧的三维目标边界框运动特征， 采用相似度计算和最近邻匹配前后帧的检测目标为同一目 标的概率， 将跟踪成功的当前帧目标继承上一帧的身份数字， 对于新出现的目标重新赋予 新的身份数字， 将三维目标跟踪简化 为最近目标中心点搜索匹配进行速度预测 和跟踪。 9.一种基于多源传感器融合的车辆和行人检测跟踪系统， 其特征在于， 包括： 图像处理 模块、 多源传感器特 征级融合模块、 目标检测模块、 目标跟踪模块； 所述图像处理模块用于获取图像数据， 并对所述图像数据进行去畸变与实例分割处 理， 获取检测对象范围； 所述多源传感器特 征级融合模块用于根据所述检测对象范围获取稠密点云特 征映射； 所述目标检测模块对所述稠密点云特征映射进行一阶段与二阶段的特征回归， 并通过 多层感知器获取目标检测结果； 所述目标跟踪模块用于根据所述特 征回归结果进行目标跟踪。 10.根据权利要求9所述的基于多源传感器融合的车辆和行人检测 跟踪系统， 其特征在 于： 所述多源传感器特征级融合模块通过所述检测对象范围与激光雷达点云坐标获取稀 疏点云深度图； 对所述稀疏点云深度图进 行点云稠密化， 获取稠密点云深度图， 并将所述稠 密点云深度图中的稠 密点云进 行体素化和编码处理并进行特征映射， 获取所述稠密点云特 征映射； 所述目标检测模块通过结合高斯分布函数求解中心点定位的真实值， 通过中心点特征 回归得到初步目标检测边界框特征， 并将所述初步目标检测边界框特征存储在 对象的中心 特征上， 并将所述初步 目标检测边界框特征进一步细化， 使用双线性插值提取所述初步 目 标检测边界框各面的中心点和热图中心 点特征， 连接为一个包含整体三 维目标边界框的向 量， 传递到多层感知器中获取初步 目标检测边界框尺寸和朝向的特征细化和置信度预测， 获得最终目标检测结果； 所述目标跟踪模块根据目标检测模块获得的特征信息计算预测上一帧检测目标中心 的位置， 提取当前帧的三维目标边界框运动特征， 采用相似度计算和最近邻匹配前后帧的 检测目标为同一目标 的概率， 将跟踪成功的当前帧目标继承上一帧的身份数字， 对新出现 的目标重新赋予新的身份数字， 将三 维目标跟踪简化为最近目标中心点搜索匹配进行目标 跟踪。权　利　要　求　书 2/2 页 3 CN 115272416 A 3