(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211387608.5 (22)申请日 2022.11.07 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 陈昶昊　李方言　王雄飞　何晓峰　 褚超群　潘献飞　毛军　张礼廉　 范晨　胡小平　 (74)专利代理 机构 长沙国科天河知识产权代理 有限公司 432 25 专利代理师 赵小龙 (51)Int.Cl. G01S 17/89(2020.01) G01S 17/86(2020.01) G01C 21/00(2006.01)G06T 7/521(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/10(2017.01) G06T 7/73(2017.01) (54)发明名称 自监督学习的固态激光雷达三维语义建图 方法与装置 (57)摘要 本发明公开了一种自监督学习的固态激光 雷达三维语义建图方法与装置， 该方法包括点云 语义分割模 型的构建及自监督训练、 稠密三维点 云地图构建、 实时点云语义分割以及模型部署与 语义地图生成四个步骤， 应用于三维点云语义分 割技术领域。 本发明基于卡尔曼滤波的轻量化激 光雷达/惯性组合建图算法进行场景三维重构， 并通过点云语义分割模型对三维点云地图进行 语义分割， 对三维坐标点云的语义分割效果良 好， 提高了点云分割理解的能力、 语义分割的精 度。 权利要求书3页 说明书7页 附图1页 CN 115421158 A 2022.12.02 CN 115421158 A 1.一种自监 督学习的固态激光雷达三维语义建图方法， 其特 征在于， 包括如下步骤： 步骤1， 构建编码 ‑解码结构的点云语义分割模型， 并基于同步采集的RGB图像与 三维点 云数据集对点云语义分割模型进行自监 督的训练； 步骤2， 通过小型固态激光雷达和惯性测量元件采集实时三维点云和实时惯性数据， 并 基于卡尔曼滤波器融合 实时三维点云与实时惯性数据， 输出全局坐标下由实时点云数据组 成的稠密三维点云地图； 步骤3， 将 实时三维点云输入训练好的点云语义分割模型， 得到当前时刻每个点云坐标 对应的点云分割结果， 将 每个点云坐标对应的点云分割结果与稠密三维点云地图坐标进 行 对应即能生成三维语义 地图； 步骤4， 将训练好的点云语义分割模型部署在ARM+GPU架构的计算设备上， 与小型固态 激光雷达和惯性测量元件一起构建语义建图系统， 按照固定频率进行三维点云、 惯性数据 采集以及地图更新， 进行实时语义分割， 生成三维语义 地图。 2.根据权利要求1所述的自监督学习的固态激光雷达三维语义建图方法， 其特征在于， 步骤1中， 所述 点云语义分割模型包括： 编码层， 用于对输入的三维点云进行 特征提取； 解码层， 用于在编码层提取的特征基础上， 为每一个输入点找到其最近的K个相邻点， 再通过最近邻差值算法对点云特征集进行上采样， 将上采样得到的特征与编码器得到的特 征连接， 得到解码层输出的特 征向量； 语义预测层， 用于将解码层得到的特征向量通过全连接层以及线性枕流函数ReLU， 映 射到 ， 为语义的类别， 一共有 类， 为三维点云中点的个数。 3.根据权利要求2所述的自监督学习的固态激光雷达三维语义建图方法， 其特征在于， 步骤1中， 所述对点云语义分割模型进行自监 督的训练， 具体为： 步骤1.1， 通过几何关系将三维点云坐标与RGB图像像素一一对应， 采用已训练好的RGB 图像分割模 型获得RGB图像中每个像素的语义分割结果， 并通过三 维点云坐标与RGB图像像 素之间的对应关系， 获得自监 督语义标签； 步骤1.2， 将点云分割网络输出的点特征 ， 与通过RGB图像对应关系得到 的自监督 语义标签相比较， 通过迭代调节点云语义分割模型各层级的参数， 使点云语义分割模型输 出的语义结果逼近自监 督语义标签； 步骤1.3， 在迭代一定次数后留下生成输出分数更接近自监督语义标签的模型， 从而形 成点云语义分割模型。 4.根据权利要求1或2或3所述的自监督学习的固态激光雷达三维语义建图方法， 其特 征在于， 步骤2具体包括： 步骤2.1， 对实时惯性数据进行惯性积分， 得到系统初始的第一状态量； 步骤2.2， 基于实时三维点云， 采用卡尔曼滤波对第一状态量进行状态更新， 得到第二 状态量； 步骤2.3， 对第二状态量的反向状态更新， 得到系统的第三状态量； 步骤2.4， 基于第三状态量得到激光雷达坐标系到惯性坐标系的转换矩阵以及惯性坐 标系到全局坐标系的估计更新转换矩阵， 并将激光雷达一个扫描内的每一帧自身坐标系的 点云坐标转换到扫描末时刻坐标系的坐标， 即得到全局坐标；权　利　要　求　书 1/3 页 2 CN 115421158 A 2步骤2.5， 将每个采用时刻下的所有特征点根据全局坐标添加到现有地图中， 即得到全 局坐标系下的稠密三维点云地图。 5.根据权利要求4所述的自监督学习的固态激光雷达三维语义建图方法， 其特征在于， 步骤2.1中， 设惯性测量噪声 为0， 则惯性积分为： 式中， 表示关于 、 、 的惯性积分函数， 表示指数运算 符， 这二者的组合表示惯性 积分状态更新过程； ， 即在一个雷达扫描中相邻两次采样时刻 与 之差； 是第 次惯性数据采样的标号， 表示第 次IMU采样的实时惯性数据； 表示系统状态， 其 中， 表示系统在第 次采样时刻的第一状态量， 表示系统在第 次采样时刻的第 一状态量。 6.根据权利要求5所述的自监督学习的固态激光雷达三维语义建图方法， 其特征在于， 步骤2.2具体为： 首先计算实时三维点云的点云残差 ， 为： 式中， 是地图上最近特征点位置， 是点 所在的相应平面或边的法向量或边缘 取 向， 是IMU估计点云位置； 采用迭代卡尔曼滤波器对状态估计进行迭代更新， 直至点云残差 收敛， 其中， 对状态 估计进行迭代更新的过程 为： 式中， 表示在 时刻第 次卡尔曼滤波后的状态 的生成值， 表示在 时刻 第 次卡尔曼滤波后的状态 的生成值， 表示第 次激光雷达扫描的扫描结束时间， I表示 单位矩阵， 表示观测矩阵， 表示 关于 的偏导数， 为对数函数， 表示 时刻的状态 的真值 与生成值 之间的误差状态动态模型， 表 示生成值 和估计值 之间的误差； 表示卡尔曼滤波增益矩阵， 其计算过程 为： 式中， 表示协方差矩阵， 表示第 次采样时刻的IMU状态协方差， 表示第 次 采样时刻的IMU状态协方差， 表示协方差矩阵 和偏导数矩阵 产生的中间变量， 和权　利　要　求　书 2/3 页 3 CN 115421158 A 3