(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211341653.7 (22)申请日 2022.10.31 (71)申请人 之江实验室 地址 311121 浙江省杭州市余杭区之江实 验室南湖总部 (72)发明人 励翔东　卢昊　杨李杰　沈思逸　 承元昆　许桐恺　 (74)专利代理 机构 北京志霖恒远知识产权代理 有限公司 1 1435 专利代理师 戴莉 (51)Int.Cl. G06V 10/26(2022.01) G06V 20/70(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01)G06T 9/00(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 基于脉冲神经网络与激光雷达点云的语义 分割方法及装置 (57)摘要 本发明公开了一种基于脉冲神经网络与激 光雷达点云的语义分割方法及装置， 包括以下步 骤： 步骤S1： 获取激光雷达采集的点云数据， 并对 所述点云数据进行预处理， 得到预处理点云数 据； 步骤S2： 将所述预处理点云数据映射至2D图 像中， 并对所述2D图像中的每一帧图像进行编 码， 得到脉冲序列； 步骤S3： 将所述脉冲序列作为 脉冲神经网络模 型的输入进行训练， 并对所述脉 冲神经网络模型中的输出层神经元脉冲进行解 码， 得到训练好的脉冲神经网络模型； 步骤S4： 根 据训练好的脉冲神经网络模型获取语义分割结 果。 本发明以脉冲神经网络的方式对激光雷达的 点云数据进行图像语义分割与目标识别， 有效提 升目标识别的实时性， 降低目标识别推理模型的 算力需求。 权利要求书2页 说明书7页 附图3页 CN 115393597 A 2022.11.25 CN 115393597 A 1.一种基于脉冲神经网络与激光雷达点云的语义分割方法， 其特征在于， 包括以下步 骤： 步骤S1： 获取激光雷达采集的点云数据， 并对所述点云数据进行预处理， 得到预处理点 云数据； 步骤S2： 将所述预处理点云数据映射至2D图像中， 并对所述2D图像中的每一帧图像进 行编码， 得到脉冲序列； 步骤S3： 将所述脉冲序列作为脉冲神经网络模型的输入进行训练， 并对所述脉冲神经 网络模型中的输出层神经 元脉冲进行解码， 得到训练好的脉冲神经网络模型； 步骤S4： 根据训练好的脉冲神经网络模型获取语义分割结果。 2.如权利要求1所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法， 其特 征在于， 所述 步骤S1具体包括以下子步骤： 步骤S11： 获取激光雷达采集的点云数据， 所述点云数据包括目标点x轴、 y轴、 z轴的值 和反射强度值， 对所述点云数据进行数据增强， 所述数据增强包括沿z轴 方向旋转， 添加随 机噪点， 以及 在反射强度值上 添加随机噪声； 步骤S12： 将反射强度值作为每个所述点云数据的像素值， 并标注所述点云数据的类 别， 得到预处 理点云数据。 3.如权利要求2所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法， 其特 征在于， 所述步骤S11中在反射 强度值上添加随机噪声 具体为： 在反射 强度值上添加均值为 0， 标准差为1的正态分布的随机噪声。 4.如权利要求1所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法， 其特 征在于， 所述 步骤S2具体包括以下子步骤： 步骤S21： 将所述预处 理点云数据中的xy轴坐标映射至2D图像中； 步骤S22： 对所述2D图像中的每一帧图像采用速率编码或时延编码， 得到脉冲序列。 5.如权利要求4所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法， 其特 征在于， 所述速率编码具体为： 将所述2D图像中的每一帧图像的每个像素点的反射强度值 转换为脉冲产生频率， 得到带有时间维度的脉冲序列， 且所述脉冲产生频率 随着所述反射 强度值的增高而增快。 6.如权利要求4所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法， 其特 征在于， 所述时延编码具体为： 将所述2D图像中的每一帧图像的每个像素点的反射强度值 转换为脉冲产生时序， 得到带有时间维度的脉冲序列， 且所述脉冲产生时序随着所述反射 强度值的增高而越接 近时间轴原点。 7.如权利要求1所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法， 其特 征在于， 所述 步骤S3具体包括以下子步骤： 步骤S31： 采用编码 ‑解码结构构建脉冲神经网络模型， 所述脉冲神经网络模型包括依 次连接的多个下采样模块、 上采样模块和作为输出层的脉冲累加器， 所述下采样模块与对 称尺寸的所述上采样模块之间采用跳跃链路连接； 步骤S32： 将所述脉冲序列作为脉冲神经网络模型的输入， 对于所述脉冲序列对应的每 一个时间步， 经过所述脉冲神经网络模型 的多个下采样模块、 上采样模块和作为输出层的 脉冲累加器， 在所述下采样模块中逐层提取所述脉冲序列的语义信息， 在所述上采样模块权　利　要　求　书 1/2 页 2 CN 115393597 A 2中逐层恢复所述脉冲序列中对应的原图分辨率， 并对所述脉冲神经网络模 型中的输出层神 经元脉冲进行解码， 输出沿时间轴累加各个神经元 的脉冲个数， 选取所述脉冲个数最大 的 类别作为 最终语义分割结果； 步骤S33： 采用Adam优化器， 设置初始化学习率， 所述脉冲神经网络模型的神经元为LIF 模型神经元， 采用交叉熵函数作为损失函数并使用时间维度上的反向传播算法计算权重更 新梯度， 对所述脉冲神经网络模型进行训练直至损失函数不再下降， 得到训练好的脉冲神 经网络模型。 8.如权利要求7所述的一种基于脉冲神经网络与激光雷达点云的语义分割方法， 其特 征在于， 所述步骤S32中所述脉冲神经网络模型中的输出层神经元脉冲进行解码采用速率 解码的方式： 对于输出层神经元， 其 维度为长x宽x类别数， 使用脉冲累加器在时间维度上对 每个神经元的脉冲数进行累加， 并选取累计脉冲个数最大的神经元所代表的类作为语义分 割的结果。 9.一种基于脉冲神经网络与激光雷达点云的语义分割 装置， 包括存储器和一个或多个 处理器， 所述存储器中存储有 可执行代码， 所述一个或多个处理器执行所述可执行代码时， 用于实现权利要求 1‑8中任一项所述的一种基于脉冲神经网络与激光雷达点云的语义分割 方法。 10.一种计算机可读存储介质， 其特征在于， 其上存储有程序， 该程序被处理器执行时， 实现权利要求1 ‑8中任一项所述的一种基于脉冲神经网络与激光雷达点云的语义分割方 法。权　利　要　求　书 2/2 页 3 CN 115393597 A 3