(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210754650.X (22)申请日 2022.06.30 (71)申请人 西安理工大 学 地址 710048 陕西省西安市碑林区金花 南 路5号 (72)发明人 宁小娟　陆志伟　韩怡　王琳　 吕志勇　金海燕　王映辉　 (74)专利代理 机构 西安弘理专利事务所 61214 专利代理师 曾庆喜 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于局部特征增强和相似性度量的点 云部件分割方法 (57)摘要 本发明公开了一种基于局部特征增强和相 似性度量的点云部件分割方法， 通过提取并融合 全局特征和局部特征， 将融合后的特征矩阵并行 进行三个分支的网络训练， 根据点对之间的距离 关系学习相似性矩阵； 然后计算置信度矩阵， 对 置信度值较低的点和相似性矩 阵中冗余的点进 行剔除； 同时通过多层感知机操作得到点云语义 分割映射矩阵； 最后将语义特征转换到部件嵌入 空间， 将转换后的特征经相似性度量判别后与部 件特征融合， 从而实现点云物体的部件分割。 本 发明提高了三维点云物体的部件分割精度， 具有 较好的鲁棒 性。 权利要求书4页 说明书8页 附图1页 CN 115049833 A 2022.09.13 CN 115049833 A 1.一种基于局部特征增强和相似性度量的点云部件分割方法， 其特征在于， 具体按照 如下步骤实施： 步骤1， 点云空间对齐： 输入点云数据， 使用T ‑Net微型网络预测仿射变换矩阵， 利用该 矩阵对输入的点云数据进行坐标对齐； 步骤2， 局部特征提取： 为了捕获局部特征， 通过将步骤1中的每个点视为顶点， 选取距 离最近的k个点来构建k最近邻域图， 并在连接相 邻点对的边缘上应用边卷积得到每两两点 对之间的边特 征信息， 然后通过多层感知机网络 MLP操作提取局部特 征矩阵信息； 步骤3， 动态更新局部邻域 图： 根据嵌入的顺序计算更新MLP每层的k近邻图， 提取更新 后的局部特 征矩阵信息； 步骤4， 点云特征变换： 改进T ‑Net微型网络， 将更新后的局部特征矩阵信息输入改进后 的T‑Net网络进行坐标对齐， 保证特 征点的旋转 不变性； 步骤5， 局部特征和全局特征融合： 对已对齐更新后的局部特征矩阵信息进行 MaxPolling最大池化操作， 该操作聚合得到的全局特征信息再通过MLP处理得到融合后的 特征矩阵F； 步骤6， 构建相似性矩阵： 对特征矩阵F进行卷积操作， 通过多层感知机对点Pi提取特征 向量 然后采用L2范数计算每个点对{Pi,Pj}特征向量 间的距离信息， 最后获得相似性矩阵S； 步骤7， 构建置信度矩阵： 对特征矩阵F进行卷积操作， 对每个点Pi提取特征向量 然 后预测一个n ×1的置信度 矩阵CF， 用来反映当前网络模 型对每个分组候选对象是否是正确 的对象部件的可信度值； 步骤8， 构建语义分割矩阵： 对特征矩阵F进行MLP卷积操作， 得到一个语义分割矩阵 FSEM， 大小为n×m， 其中m是 可能的对象类别的数量； 步骤9， 特征融合： 将得到的相似性矩阵、 置信度矩阵、 语义分割矩阵进行拼接融合， 输 出所有的部件分割类别。 2.根据权利要求1所述的一种基于局部特征增强和相似性度量的点云部件分割方法， 其特征在于， 所述 步骤1具体为： 步骤1.1， 将三维物体的点云数据P＝{p1,p2,…,pi,…,pN}输入到‑Net微型网络进行训 练， 其中pi表示第i个点的位置信息， N 为该物体的点个数即po int_num； 步骤1.2， 为了使模型对输入具有排列不变性， 使用对称函数聚合每个点的信息， 得到 仿射矩阵A： f({p1,…,pN})≈g(h(p1),…,h(pN)),    (1) 式(1)中， h表示多层感知机 网络， g表示最大池化函数， f表示捕获的点云集合的特征信 息； 步骤1.3， 输入的点云数据与仿射矩阵A相乘后， 再通过多个MLP同时进行处理， 每个MLP 都是对输入的点云数据进行一次卷积核大小为(1,1)的卷积处理， 实现输入点云的坐标对 齐。 3.根据权利要求2所述的一种基于局部特征增强和相似性度量的点云部件分割方法， 其特征在于， 所述 步骤2具体为：权　利　要　求　书 1/4 页 2 CN 115049833 A 2步骤2.1， 采用欧几里德距离作为度量标准 来选择k个最近邻点； 步骤2.2， 对步骤1对齐后得到的点云数据的每个点pi及其k个最近邻点qj,j＝1,2,…,k 构建k近邻域图， 其中 RF表示F维输入点云矩阵； 步骤2.3， k近邻域图结构为G＝(V,E)， 其中V ＝{pi|i＝1,…,N}表示顶点集合， E＝{ei＝ (ei1,ei2,…,eij,…eik)|i＝1,2, …,N}表示顶点之间的边集合,eij表示点pi与k个近邻点的 有向边； 步骤2.4， 对步骤2.3更新后得到的k近邻域图通过MLP卷积处理后， 得到三维点云物体 的局部特 征矩阵信息 。 4.根据权利要求3所述的一种基于局部特征增强和相似性度量的点云部件分割方法， 其特征在于， 所述 步骤3具体为， 步骤3.1， MLP包含两个卷积层， 包括一个批处理归一化层和一个激活层， 其中两个卷积 层的卷积核大小 从左到右为(64,64)， MLP各层的输出点云数据为 N表示处 理后的点云数据的第N个点， N ＝1,2,3…,l表示MLP的第l层； 步骤3.2， 根据MLP各层的输出点 云数据， MLP各层均得到一个不同的输 出k近邻域图Gl＝ (Vl,El)， Gl表示第l层输出的k近邻域图， Vl表示Gl对应的顶点集合， El表示Gl对应的顶点之 间的边集合； 步骤3.3， 根据各层输出的k近邻域图获取每一层的局部特 征矩阵信息 。 5.根据权利要求4所述的一种基于局部特征增强和相似性度量的点云部件分割方法， 其特征在于， 所述步骤4中改进T ‑Net网络具体为， 在常规T ‑Net网络框架的softmax训练损 失中增加一个如公式(2)所示的正则化项， 将特 征变换矩阵限制为接 近于正交矩阵； 式(2)中， A为T ‑Net网络预测的仿射矩阵， 保证了正交变换不会丢失输入信息， I为单位 矩阵， F表示 点云维度。 6.根据权利要求5所述的一种基于局部特征增强和相似性度量的点云部件分割方法， 其特征在于， 所述 步骤5具体如下： 步骤5.1， 将已对齐更新后的局部特征矩阵信息作为输入， 经过3个spatial_transform 模块进行 卷积操作处理， 分别得到三个局部特 征信息net1， net2， net3； 步骤5.2， 分别将3个spatial_transform模块对应的三个局部特征： net1， net2， net3拼 接起来， 输出为 out； 步骤5.3， 输出的out数据进行MaxPo lling最大池化操作， 得到当前层的全局特 征； 步骤5.4， 将当前层全局特征与数据集中输入点云的标签信 息进行拼接， 得到整个网络 的全局特 征global_feature； 步骤5.5， 将全局特 征global_feature与net1， net2， net3进行拼接； 步骤5.6， 对步骤5.5拼接后的数据进行MLP多层感知机处 理， 得到融合后的特 征矩阵F。 7.根据权利要求6所述的一种基于局部特征增强和相似性度量的点云部件分割方法， 其特征在于， 所述 步骤6具体如下： 步骤6.1， 对获取到的特征矩阵F进行卷积操作， 通过多层感知机MLP对点Pi提取特征 向 量 权　利　要　求　书 2/4 页 3 CN 115049833 A 3