(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211384104.8 (22)申请日 2022.11.07 (71)申请人 中国测绘科 学研究院 地址 100036 北京市海淀区莲 花池西路28 号 (72)发明人 王庆栋　王腾飞　孙钰珊　艾海滨　 张力　 (74)专利代理 机构 北京睿派知识产权代理有限 公司 11597 专利代理师 刘锋 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/56(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 基于全连接图编码及双重扩张残差的点云 语义分割方法 (57)摘要 基于全连接图编码及双重扩张残差的点云 语义分割方法， 首先输入原始点云， 然后进行编 码， 首先进行逐层下采样， 使用递进的双重扩张 残差模块不断扩大感受野获得更好的局部上下 文信息， 提取点云高维特征， 使用局部全连接图 特征聚合的方法确保局部邻域特征能够获得完 整编码； 在解码阶段， 通过上采样模块逐层恢复 原始点云密度， 并在最后一层编码层使用全 连接 层进行特征维度转换， 最后输出语义分割结果点 云。 本发明使得点云的语义分割更为快速准确， 分割性能优于相关网络； 使 得网络能够更完整的 学习局部 上下文特征， 对于规则分布目标以及大 目标具有很好的分割效果； 增强小样本物体点云 语义分割精度。 权利要求书3页 说明书9页 附图3页 CN 115496910 A 2022.12.20 CN 115496910 A 1.基于全连接图编码及双重扩张残差的点云语义分割方法， 其特征在于， 包括如下步 骤： 原始点云数据输入步骤S1 10： 输入室内三维点云数据的原始点云数据， 每个室内点云包括数百万个点， 每个点包括 XYZRGB六个通道， 前三维为空间特征， 后三维为颜色特征， 在训练与测试过程中， 每次迭代 计算过程中， 输入点云F_initial,其维度为[B,N,6],其中B为批次， N为点数目， 6为XYZRGB 特征， 输入特 征总数为B*N* 6； 点云编码步骤S120： 对于输入点云F_initial首先进行全连接层操作， 进行特征变换， 得到点云特征F_ full， 维度为[B,N,8]， 对于全 连接层得到的点云特征F_full进行逐层下采样获得采样后特 征F_sample， 对于每层下采样得到的点云特征F_ sample， 都进行一次双重扩张残差处理， 然 后输出编码后的特 征F_encode； 其中， 所述双重扩张残差处 理具体为： 输入特征F_sample， 经过扩张率为1的扩张聚合处理， 得到扩张聚合特征F1， 与此同时，   F_sample通过共享MLP进行特征变换得到特征F2， 将特征F1与特征F2进行加和， 得到第一次 残差连接后特征F3， 然后对于特征F3再进 行扩张率为2的扩张聚合处理得到特征F4， 并对于 第一次残差连接后特征F3同样进行共享MLP操作得到特征F5， 然后将F4和F5加和， 得到二次 残差连接后特征F6， 然后将该特征与由F_sample经过共享MLP处理的输入特征F7再进行加 和得到特 征F8， 最后经 过激活函数LeakyReLU， LeakyReLU的公式如下：      (1) 经过激活函数后得到的特 征即为F_encode； 点云解码步骤S13 0： 对于步骤S120编码的高维点云特 征进行逐层上采样， 恢复原 始点云密度； 点云分割结果输出步骤S140： 对于步骤S130中最后一层的解码结果F_decode， 进行全连接层处理， 通过全连接层将 F_decode变换为F_class， 其中， F_decode的维度为[N,8]， F_class的维度为[N,13]， F_ class中每个点的13个通道值代表每个点属 于13个类别的概率值， 将最大概率值对应的标 签作为该点的结果标签， 并对每种标签赋予一种颜色， 最后按照N个点的顺序， 将F_initial 每个点的XYZ值与计算得到的标签值， 以及标签值对应的RGB值进 行一一对应组合得到 分割 结果点云F_final， 其中F_initial的维度为[N,6]， F_final的维度为[N,7]， F_final包括7 个通道,分别是空间特 征XYZ， 与标签对应的颜色特 征RGB， 以及标签值。 2.根据权利要求1所述的点云语义分割方法， 其特 征在于， 在步骤S13 0中， 所述扩张聚合处 理具体为： 设定扩张率为k， 输入颜色特征P_feature， 输入特征的维度为[N,d_in]， 然后对P_ feature进 行扩张卷积处理得到扩张后的颜色特征P1， P1的维度为[N,d_in]， P1 中的点为 ， 其中i<N； 同时对点坐标P_xyz进行局部全连接图特征聚合处理， 得到P2， 然后将P1， P2进行颜色 特征及高维特 征增强融合,融合方法如公式 （5） 所示：权　利　要　求　书 1/3 页 2 CN 115496910 A 2        (5) 其中 为融合后 强化特征， 为扩张后的颜色特征， ∈P1， 为空间编码特征，   ∈ P2， 代表将向量按照最后一维拼接， 通过上述公式， 将 按照 在P1的顺序组合成增强特 征P3， 维度为[N， 2*d_i n]； 对于增强特征P3， 进行注意力池化操作， 得到注意力池化后的点特征 ， 然后将 按照 在P3的顺序组合成特征P4， 维度为[N， d_out/2]， 对于注意力池化后的特征P4， 将再次进 行扩张卷积操作， 得到特征P5， 维度为[N， d_out/2]， 对于点坐标P_xyz进行局部全 连接图特 征聚合得到特征P6， 维度为[N， d_out/2],然后将P5， P6利用公式 （5） 进行色彩特征及高维特 征增强融合得到P7， 维度为[N， d_out]， 再对P7进行注 意力池化 从而得到输出特征P_out， P_ out维度为[N， d_out]。 3.根据权利要求2所述的点云语义分割方法， 其特 征在于， 在所述扩张聚合处 理中， 局部全连接图特 征聚合具体为： 首先使用KNN算法对P_xyz中每个点   的邻域进行分析， 其中i<N， 将每个点作为中心 点并获得中心点的邻域 点信息， 邻域 点获取方法根据扩张率变化而变化； 将每个邻域点到其他邻域点的向量， 欧氏距离以及目标点坐标进行串联， 如公式 （1） ， （2） ， （3） 所示   (1)  (2)   (3)   (4) 其中 是中心点空间信息， 是第 个邻域点空间信息，  = 1,2,3…K,K代表邻域点 的个数， 代表将向量按照最后一维拼接， 代表求取欧氏距离， MLP代表多层感知器， 代表邻域点向量信息编码， 代表邻域点欧氏距离信息编码, 代表第k个邻域点空间 信息编码结果， 代表中心点空间信息编码结果； 通过上述公式， 由 得到邻域空间信息编码结果 ， 然后将 按照 在P_xyz的顺序组 合成新的特 征， 维度为[N， d_i n]。 4.根据权利要求2所述的点云语义分割方法， 其特 征在于， 在所述扩展聚合处 理中， 注意力池化的具体为： 对于输入点中每 个点特征 ， 都由K个邻域特 征组成， 如下列公式所示  = 1,2,3…K,K代表邻域点的个数 对于每个邻域特征 ， 使用MLP以及softmax函数组合成的函数 对其进行评价， 从权　利　要　求　书 2/3 页 3 CN 115496910 A 3