(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211087174.7 (22)申请日 2022.09.07 (71)申请人 上海赫千电子科技有限公司 地址 200125 上海市浦东 新区东三里桥路 1018号A座 403室 (72)发明人 肖文平　何敖东　 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/277(2017.01) G06V 10/74(2022.01) G06V 10/766(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种用于智能汽车的3D目标追 踪方法 (57)摘要 本发明提供一种用于智能汽车的3D目标追 踪方法， 包 括： 获取t时刻的3D检测目标和3D虚目 标； 利用匹配器将t时刻的3D检测目标与3D虚目 标进行匹配， 获取t时刻3D的追踪目标， 匹配器的 匹配具体包括： 获取t时刻3D检测目标与3D虚目 标的距离相似度、 类别差异因子； 将距离相似度、 3D检测目标、 追踪目标提取的融合特征输入至第 一神经网络回归出匹配矩阵Match_array， 过滤 掉符合条件的最佳匹配对中类别差异因子为0的 匹配对， 获取t时刻的3D追踪目标。 通过神经网络 对融合特征进行训练， 用于调节3D检测目标和3D 虚目标点的距离相似度大小， 能够适配不同的场 景， 能够提升了3D检测目标与3D虚目标的匹配的 准确性。 权利要求书3页 说明书12页 附图3页 CN 115511911 A 2022.12.23 CN 115511911 A 1.一种用于智能汽车的3D目标追踪方法， 其特 征在于， 至少包括： 获取t‑1时刻的3D追踪目标； 获取t时刻的3D检测目标和3D虚目标； 利用匹配 器将t时刻的3D检测目标与3D虚目标进行匹配， 获取t时刻3D的追踪目标； 其中， 匹配器的匹配具体包括： 获取t时刻3D检测目标与3D虚目标距离相似度、 3D检测 目标与3D虚目标的类别差异因子； 将距离相似度、 3D检测目标和3D追踪目标提取的融合特征输入至第一神经网络回归出 匹配矩阵Matc h_array: 其中， Distarray表示距离相似度， GNET0表示第一神经网络， 表示检测目标的融合特 征； 表示追踪目标的融合特 征； 其中， GNET0的运算步骤包 括： 通过将t时刻3D检测器提取的3D检测目标融合特征特征和 t‑1时刻3D检测器提取3D追踪目标的融合特征输入解码神经网络进行训练获得第一输出， 将第一输出减去第一权重调节因子A后在乘以第二调节权重因子B， 然后在加上距离相似度 后进行回归输出匹配矩阵， 从匹配矩阵中选择符合条件的最佳匹配对； 过滤掉符合条件的最佳匹配对中类别差异因子为0的匹配对， 则剩余符合条件的匹配 对中， 与3D虚目标对应的3D检测目标为t时刻的3D追踪目标。 2.如权利要求1所述一种用于智能汽车的3D目标追踪方法， 其特征在于， 从匹配矩阵中 选择符合条件的匹配对至少包括： 设计匹配阈值， 将匹配矩阵中的元素值与匹配阈值相比 较， 获取小于匹配阈值的元 素， 形成第一匹配矩阵； 将第一匹配矩阵中所有的元素按照数值从小到大进行排序， 分别获取排序后每个元素 对应的3D虚目标和3D检测目标索引， 将获得 所有目标索引形成第二匹配矩阵； 然后依次从第二匹配矩阵中取出目标索引， 如果目标索引中对应的3D虚目标和3D检测 目标都未匹配， 则取出目标索引为最佳匹配对； 如果目标索引中对应的3D虚目标或3D检测 目标已存在的最佳匹配对中， 则丢弃目标索引； 遍历第二匹配矩中所有的目标索引， 获取最终的所有最佳匹配对。 3.如权利要求1所述一种用于智能汽车的3D目标追踪方法， 其特征在于， 3D检测目标获 取步骤至少包括： 获取车身前方的点云数据和图像数据， 将点云数据和图像数据输入3D目 标检测器， 3D目标检测器通过运 算后输出3D检测目标； 3D虚目标获取步骤包括： 获取t ‑1时刻的3D的追踪 目标， 通过目标轨迹预测器预测t ‑1 时刻的3D追踪目标运动到t时刻轨 迹形成的目标， 称为3D虚目标； t时刻的3D虚目标与t ‑1时刻的3D追踪目标一 一对应。 4.如权利要求1所述一种用于智能汽车的3D目标追踪方法， 其特征在于， t时刻3D检测 器提取的3D检测目标的融合特征或t ‑1时刻3D检测器提取3D追踪目标的融合特征包括目标 对应的3D点云和2D图像的融合； 融合方式采用第二神经网络， 具体如下： Featuremerged＝GNET1(Feature2D)+Feature3D权　利　要　求　书 1/3 页 2 CN 115511911 A 2其中， Featuremerged表示融合的特征， Feature2D表示目标的2D特征， Feature3D表示目标 的3D特征， GNET1表示第一子网络， 用于对目标的2D特征进行变化， 使其能够与目标 的3D特 征进行融合。 5.如权利要求1所述一种用于智能汽车的3D目标追踪方法， 其特征在于， 获得第 一输出 所采用解码神经网络结构表达式如下： 其中， OUTPUTfirst表示第一输出， GNET2表示解码神经网络， 表示3D检测目标的融合特 征； 表示3D追踪目标的融合特 征； GNET2网络包括多个卷积层、 全连接层， 批归一 化层、 激活函数层； 对于OUTPUTfirst的训练， 采用二分类的损失函数进行训练。 6.如权利要 求1所述一种用于智能汽车的3D目标追踪方法， 其特征在于， 对于GNET0神经 网络的总损失函数， 采用第一损失， 即： totalloss＝Loss1 其中， Loss1用于估计匹配矩阵中正样本的值和 负样本的值， 使正样本的值大于负样本 的值； 其中， posnum， negnum匹配正样本与负样本的数量， pos,neg分别表示正样本、 负样本在匹 配矩阵元 素中对应的索引集 合； dist_i表示第i个正样本的值， dist_j表示第j个负 样本的数值， C1为设置的阈值。 7.如权利要求1所述一种用于智能汽车的3D目标追踪方法， 其特征在于， 激光雷达的点 云数据与车 载以太网的摄 像头拍摄的图像的位置进行匹配对应， 具体包括： 采用棋盘格方法获取标定矩阵对输入点云进行剪裁， 利用标定矩阵将每个点p(x,y,z) 投影到图像平面上， 只保留图像平面内的点， 使得激光雷达和摄像头两个传感器数据具有 相同的视场范围， 投影公式为： 其中， K是摄像头的内参标定矩阵， R和t是描述激光雷达和摄像头位置之间的旋转矩阵 和平移向量， (u,v)则是点p(x,y,z)对应的图像坐标。 8.如权利要求1所述一种用于智能汽车的3D目标追踪方法， 其特征在于， 激光雷达的帧 数据与摄 像头的帧数据进行时间同步， 具体包括： 根据gPTP协议分别计算车载以太网摄像头和激光雷达到智能汽车主机的时间延迟和 频率偏移； 根据各自的时间延迟和频率偏移对车 载以太网摄 像头和激光雷达进行时间同步校准； 以智能汽车主机接收到的激光雷达发送的点云数据的时间点为参考基准， 获取最接近权　利　要　求　书 2/3 页 3 CN 115511911 A 3