(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210581426.5 (22)申请日 2022.05.26 (71)申请人 苏州轻棹科技有限公司 地址 215000 江苏省苏州市苏州相城区高 铁新城青龙港路66号领寓商务广场1 幢21层2101-2108室 (72)发明人 李经纬　赵政　柯岩　张雨　 (74)专利代理 机构 北京慧诚智道知识产权代理 事务所 (特殊普通合伙) 11539 专利代理师 高梅 (51)Int.Cl. G06V 20/64(2022.01) G06V 10/25(2022.01) G06V 10/40(2022.01)G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种对点云目标识别结果进行调整的处理 方法 (57)摘要 本发明实施例涉及一种对点云目标识别结 果进行调整的处理方法， 所述方法包括： 在任意 时刻t获取第一帧点云； 对第一帧点云进行目标 识别处理得到对应的点云目标识别结果， 点云目 标识别结果包括多个第一目标识别框Boxi， 各个 第一目标识别框Boxi对应一组第一目标识别框 参数Bi； 根据第一帧点云和点云目标识别结果进 行模型输入数据预处理生成对应的第一模型输 入数据； 将第一模型输入数据输入目标框调整模 型进行运算得到对应的第一模型输出数据； 第一 模型输出数据包括多组第二目标识别框参数 B* i； 使用各个第二目标识别框参数B* i对第一目 标识别框参数Bi中的匹配参数进行替换。 通过本 发明可以提高感知模块的目标关联准确度。 权利要求书4页 说明书13页 附图2页 CN 114973236 A 2022.08.30 CN 114973236 A 1.一种对点云目标识别结果进行调整的处 理方法， 其特 征在于， 所述方法包括： 在任意时刻t获取第一帧点云； 对所述第一帧点云进行目标识别处理得到对应的点云目标识别结果； 所述点云目标识 别结果包括多个第 一目标识别 框Boxi； 各个所述第 一目标识别 框Boxi对应一组第 一目标识 别框参数Bi； i为目标识别框索引， 1≤i； 根据所述第一帧点云和所述点云目标识别结果进行模型输入数据预处理生成对应的 第一模型输入数据； 将所述第一模型输入数据输入目标框调整模型进行运算得到对应的第一模型输出数 据； 所述第一模型输出数据包括多组第二目标识别框参数B* i； 所述第二目标识别框参数Bi* 与所述第一目标识别框参数Bi一一对应； 使用各个所述第二目标识别框参数B* i对所述第一目标识别框参数Bi中的匹配参数进 行替换。 2.根据权利要求1所述的对点云目标识别结果进行调整的处 理方法， 其特 征在于， 所述第一目标识别框参数Bi包括第一中心点坐标Qi(xQ,i,yQ,i,zQ,i)、 第一长度Li、 第一 宽度Wi、 第一高度Hi、 第一朝向角yawi和第一类型Si； 所述第二目标识别框参数B* i包括第二中心点坐标Q* i(x* Q,i,y* Q,i,z* Q,i)、 第二长度L* i、 第二宽度W* i、 第二高度Hi*和第二朝向角yawi*； 所述第一模型输入数据包括第一点云坐标组序列、 第一中心点坐标序列、 第一形状数 据组序列、 第一朝向角序列和第一类型序列； 所述目标框调整模型包括特征提取网络、 主干网络和回归头网络组成； 所述特征提取 网络与所述主干网络连接， 所述主干网络与所述回归头网络连接 。 3.根据权利要求2所述的对点云目标识别结果进行调整的处理方法， 其特征在于， 所述 根据所述第一帧点云和所述点云目标识别结果进行模型输入数据预处理生成对应的第一 模型输入数据， 具体包括： 将所述第一帧点 云中各个 所述第一目标识别框Boxi内所有点的点云坐标提取出来组成 对应的第一点云坐标组Pi， 并将得到的所有所述第一点云坐标组Pi按所述目标识别框索引i 进行排序生成对应的所述第一点云坐标组序列； 所述第一点云坐标组Pi包括多个第一点云 坐标pi,j(xi,j,yi,j,zi,j)， j为点云坐标索引， 1≤j； 将所有所述第一中心点坐标Qi(xQ,i,yQ,i,zQ,i)按所述目标识别框索引i进行排序生成对 应的所述第一中心点 坐标序列； 由所述第一长度Li、 所述第一宽度Wi和所述第一高度Hi组成对应的第一形状数据组Di， 并将得到的所有所述第一形状数据组Di按所述目标识别框索引i进行排序生成对应的所述 第一形状数据组序列； 将所有所述第一朝向角yawi按所述目标识别框索引i进行排序生成对应的所述第一朝 向角序列； 将所有所述第一类型Si按所述目标识别框索引i进行排序生成对应的所述第一类型序 列； 由得到的所述第一点云坐标组序列、 所述第一中心点坐标序列、 所述第一形状数据组 序列、 所述第一朝向角序列和所述第一类型序列组成对应的所述第一模型输入数据。权　利　要　求　书 1/4 页 2 CN 114973236 A 24.根据权利要求2所述的对点云目标识别结果进行调整的处 理方法， 其特 征在于， 所述特征提取网络包括点云特征提取单元、 中心点特征提取单元、 形状特征提取单元、 朝向角特征提取单元、 类型特征提取单元、 特征融合单元和融合特征提取单元 组成； 所述点 云特征提取单元、 所述中心 点特征提取单元、 所述形状特征提取单元、 所述朝向角特征提取 单元和所述类型特征提取单元分别与所述特征融合单元连接； 所述特征融合单元与所述融 合特征提取单元连接； 所述融合特 征提取单元与所述主干网络连接； 所述点云特征提取单元基于PointNet网络实现， 所述点云特征提取单元的输出向量数 据维度为 128； 所述中心 点特征提取单元基于MLP网络实现包括一个全连接层和一个ReLU激 活单元， 所述中心点特征提取单元的输出向量 维度为32； 所述形状特征提取单元基于MLP网 络实现包括一个全连接层和一个ReLU激活单元， 所述形状特征提取单元的输出向量 维度为 32； 所述朝向角特征提取单元基于MLP网络实现包括一个全连接层和一个ReLU激活单元， 所 述朝向角特征提取单元的输出向量维度为32； 所述类型特征提取单元基于MLP网络实现包 括一个全连接层和一个ReLU激活单元， 所述类型特征提取单元的输出向量维度为32； 所述 特征融合单元的输出向量维度为256； 所述融合特征提取单元基于MLP网络实现包括两个全 连接层， 所述融合特 征提取单元的输出向量维度为128； 所述主干网络基于门控循环单 元GRU实现， 所述主干网络的输出向量维度为25 6； 所述回归头网络包括中心点 回归头单元、 形状回归头单元、 朝向角回归单元； 所述中心 点回归头单元、 所述形状回归头单元、 所述朝向角回归单元分别与所述主干网络连接； 所述 中心点回归头单元包括三个全连接层 且相邻两个全连接层之 间有一个ReLU激活单元； 所述 形状回归头单元包括三个全连接层 且相邻两个全连接层之间有一个ReLU激活单元； 所述朝 向角回归单 元包括两个全连接层且两个全连接层之间有一个ReLU激活单 元。 5.根据权利要求4所述的对点云目标识别结果进行调整的处理方法， 其特征在于， 所述 将所述第一模型输入数据输入目标框调整模型进 行运算得到对应的第一模 型输出数据， 具 体包括： 将所述第一模型输入数据输入所述目标框调整模型的所述特征提取网络进行特征提 取处理生成对应的第一特 征向量； 将所述第一特征向量输入所述目标框调 整模型的所述主干网络， 通过所述门控循环单 元GRU基于上一时刻t ‑1传递来的隐藏状态ht‑1和所述第一特征向量算出当前时刻t的隐藏 状态ht； 并将所述隐藏状态ht作为向下一时刻t+1传递的隐藏状态， 同时将所述隐藏状态ht 作为所述主干网络 本次输出的第二特 征向量； 将所述第二特征向量输入所述目标框调 整模型的所述 回归头网络进行目标框中心点、 目标框形状和目标框朝向角回归处 理得到对应的所述第一模型输出 数据。 6.根据权利要求5所述的对点云目标识别结果进行调整的处理方法， 其特征在于， 所述 将所述第一模型输入数据输入所述目标框调整模型的所述特征提取网络进行特征提取处 理生成对应的第一特 征向量， 具体包括： 将所述第一模型输入数据的所述第 一点云坐标组序列， 输入所述特征提取网络的所述 点云特征提取单元进 行点云特征提取 处理生成对应的第一点云特征向量； 所述第一点云特 征向量的数据维度为128； 将所述第一模型输入数据的所述第 一中心点坐标序列， 输入所述特征提取网络的所述权　利　要　求　书 2/4 页 3 CN 114973236 A 3