(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210740591.0 (22)申请日 2022.06.28 (71)申请人 首都师范大学 地址 100048 北京市海淀区西三环北路10 5 号 申请人 上海勃发空间信息技 术有限公司 (72)发明人 孙海丽　张振鑫　李金城　钟若飞　 邹建军　许正文　陆悦　韩玉龙　 任晓旭　 (74)专利代理 机构 苏州科洲知识产权代理事务 所(普通合伙) 3243 5 专利代理师 周亮 (51)Int.Cl. G06V 10/26(2022.01) G06N 3/04(2006.01)G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) (54)发明名称 基于全局特征学习和局部特征判别聚合的 点云分割方法 (57)摘要 本发明介绍了基于全局特征学习和局部特 征判别聚合的点云分割方法， 其包括以下步骤： 步骤S1、 设计FPE模块， 丰富每个点 云的特征并扩 展全局感受野； 步骤S2、 设计LFDA模块， 学习更具 有区别性的局部特征； 步骤S3、 基于胶囊网络设 计GFC模块； 步骤S4、 设计GCM模块， 用于构建全局 相关性； 步骤S5、 通过级联多个全局和局部信息 编码模块， 在下采样的同时， 不断扩展点的感受 野； 步骤S6、 改进加权交叉熵损失函数， 解决盾构 隧道典型要素类别数据分布不均衡的问题； 步骤 S7、 通过三个全连接层与一个Dropout层获得最 后的语义预测。 本申请直接对大规模3D盾构隧道 点云数据进行语义分割， 避免任何的预处理或后 处理， 进而实现快速分割 盾构隧道典型要素。 权利要求书4页 说明书21页 附图5页 CN 115131560 A 2022.09.30 CN 115131560 A 1.基于全局特征学习和局部特征判别聚合的点云分割方法， 其特征在于， 其包括以下 步骤： 步骤S1、 设计特 征感知增强FPE模块， 丰富每 个点云的特 征并扩展全局感受野； 步骤S2、 设计局部信息挖掘LFDA模块， 学习更 具有区别性的局部特 征； 步骤S3、 基于胶囊网络设计全局特 征捕捉GFC模块； 步骤S4、 设计 基于自注意力的全局相关 建模GCM模块， 用于构建全局相关性； 步骤S5、 全局和局部信息捕捉模块由FPE、 LFDA、 GFC组成， 通过级联多个全局和局部信 息编码模块， 在下采样的同时， 不断扩展点的感受野； 步骤S6、 改进加权交叉熵损失函数， 解决盾构隧道典型要素类别数据分布不均衡的问 题； 步骤S7、 通过三个全连接层与一个Dropout层获得最后的语义预测。 2.根据权利要求1所述的基于全局特征学习和局部特征判别聚合的点云分割方法， 其 特征在于， 所述 步骤S1中， 所述FPE模块包括相似性特 征编码模块和混合池化模块。 3.根据权利要求2所述的基于全局特征学习和局部特征判别聚合的点云分割方法， 其 特征在于， 所述相似性特征编码模块的网络输入原始点云P∈RN×(3+d)包含3D坐标以及特征 信息， 所述3D坐标： (S∈RN×3,S＝{s1,…,si,…,sN},si∈R1×3)， 所述特征信息： (F∈RN×d,F＝{f1,…,fi,…,fN},fi∈R1×d)， 式中P表示所有输入点云， N表示输入点的数量， d是输入点云特征信息的维度； P中的第 i个点可以看作是pi＝(si,fi)T。 4.根据权利要求3所述的基于全局特征学习和局部特征判别聚合的点云分割方法， 其 特征在于， 使用相似性特 征编码模块的方法为： 步骤S101、 在相似性特征编码模块中， 首先采用欧氏距离相似度基于特征空间和欧氏 空间度量 点的相似程度， 并构建相似度矩阵， 计算公式(1)所示： 式中Θ表示pi,pj的维度， xi， yi表示向量pi和pj在第i维度的值； 步骤S102、 根据相似度矩阵， 为每 个点选择最相似的κ 个邻近点 为了使邻近点有丰富的空间信息， 重新编码邻近点的特 征， 编码方式如公式(2)： 式中[,]表示拼接操作， 表示中心点i的第k个邻近点的编码后的特征， si表示中心点i 的空间坐标， 表示中心点i的第k个邻近点的输入特征， 表示中心点i的第k个邻近点的 空间坐标； 步骤S103、 通过多层感知机(MLP)操作学习邻近点特征 的高维表示： 式 中 表示中心点 i的第k个邻近点的特 征经过学习后的特 征。 5.根据权利要求2所述的基于全局特征学习和局部特征判别聚合的点云分割方法， 其 特征在于， 所述使用混合池化模块的方法包括：权　利　要　求　书 1/4 页 2 CN 115131560 A 2步骤S111、 直接使用最大值池化 来获取邻居点的显著特 征Ηmax； 步骤S112、 使用平均值池化获取邻居点的整体特 征Ηmean； 步骤S113、 从邻居点特征 本身出发， 通过学习邻居点特征的高维映射并通过标准化 函数Softmax得到邻居点逐 特征的注意力得分 计算过程如公式(3)： 式中W∈Rd′ ×d′， d'表示 的维度， 是全连接层中可 学习的权 重； 步骤S114、 利用注意力得分 对邻居特 征加权求和得到 步骤S115、 通过残差连接的方式将 和 连接， 得到 步骤S116、 通过逐通道求和的方式得到聚合后的特 征Ηw， 以学习邻居点的局部 差异； 步骤S117、 将三部分的池化结果 拼接在一 起得到最终输出Ηout＝[Ηw,Ηmax,Ηmean]。 6.根据权利要求1所述的基于全局特征学习和局部特征判别聚合的点云分割方法， 其 特征在于， 所述 步骤S2中， 局部信息挖掘模块的原理为： 步骤S21、 对于输入点云P， 首先通过K ‑Nearest Neighbors(KNN)算法寻找欧式空间中 距离最近的K个邻居点； 步骤S22、 将中心点与邻 居点视为图结构： G＝{V,E}， 式中V表示节点， E表示连接中心点 与邻居点的边， V＝{1,2, …,N}， 步骤S23、 然后通过顶点的空间坐标和特征得到邻边特征 邻边特征可 以视为中心点与邻居点的连接关系， 邻边特 征按照公式(4)编码得到： 式中 表示中心点i的第k个邻居点的邻边特征， 表示中心点i的第k个邻居点的逆距 离系数， 该系数会随着距离的增 加而减小， 逆距离系数的计算如公式(5 ‑6)： 公式(5)中si和 分别表示中心点i和第k邻居点的空间坐标值； 式中 表示中心点i第k个邻居点的特征； 式中 表示中心点i的kth邻居点的 三维坐标， pi表示中心 节点i； 同时得到新的邻居点特 征 步骤S24、 对于邻边特征集 设计一个共享函数g( ·)来学习每个特 征的注意力分值s， 共享函数g( ·)是由一个线性变换后接一个 softmax函数 组成， 它的定义 如公式(7)： 式中W是可学习的权重； 学习到的注意力得分 可以被认为是一个 可以自动选择邻居点 特征的掩膜， 表示了中心点 i与kth邻居点在对应特 征维度上相关性的强弱； 步骤S25、 特 征按照公式(8)加权并求和：权　利　要　求　书 2/4 页 3 CN 115131560 A 3