(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210983067.6 (22)申请日 2022.08.16 (71)申请人 西安交通大 学 地址 710049 陕西省西安市碑林区咸宁西 路28号 (72)发明人 杨静　江舟　李昊哲　岳小力　 宣春宇　杜少毅　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 贺小停 (51)Int.Cl. G06V 20/70(2022.01) G06V 20/64(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06V 10/74(2022.01) G06V 10/26(2022.01) G06T 7/90(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 基于自适应特征采样的点云语义分割方法 及系统 (57)摘要 本发明公开了一种基于自适应特征采样的 点云语义分割方法及系统， 包括： 进行点云数据 的颜色通道 转换； 对转换后的点 云数据最远点采 样并进行邻域搜索； 对各邻域使用自适应特征变 换； 对所有点的特征进行非局部特征变换； 融合 上述的降采样后的特征、 自适应特征以及非局部 特征； 重复进行三次降采样； 进行基于邻近点插 值的三层上采样； 使用softmax 函数预测结果， 进 行基于交叉熵损失函数的模型训练。 使用训练好 的模型预测待分割的点云数据。 本发 明方法在降 采样点的邻域范围进行重新加权， 自适应地调整 采样点， 同时通过局部与非局部特征的融合以构 建长距离采样点之间的关联性， 有效地降低了噪 声点对于分割结果的影 响， 并且提高了数据非均 衡物体的分割效果。 权利要求书3页 说明书7页 附图3页 CN 115273081 A 2022.11.01 CN 115273081 A 1.基于自适应特 征采样的点云语义分割方法， 其特 征在于， 包括以下步骤： 步骤一： 对包含颜色信息的点云数据进行颜色通道转换， 将其中的RGB通道转换为HSV 通道， 并保留原 始点云数据的三维空间坐标， 获得转换后的点云数据； 步骤二： 对转换后的点云数据， 使用最远点采样方法进行降采样， 得到点集以及点集对 应的特征； 步骤三： 对点 集中的每 个点进行邻域搜索， 获取到k个邻居点； 步骤四： 将步骤三中获得的k个邻居点的特征进行自适应特征变换， 获得自适应调整后 的各邻域内自适应特 征； 步骤五： 将步骤四获得自适应调 整后的各邻域内自适应特征采用一个权值共享的多层 感知机关联起来， 并归一化获得某点的自适应特征， 对该点的自适应特征与点集中的所有 点以及对应的特 征空间进行非局部特 征变换获得 该点的非局部特 征； 步骤六： 将步骤五中获得的某点的自适应特征与非局部特征， 以及步骤二中的特征相 结合， 获得本次降采样过程的输出 特征； 步骤七： 重复步骤二至步骤六， 再次进行降采样并分别获得自适应特征以及非局部特 征， 直到网络进行了三次降采样并且进行了三次自适应特征变换与非局部特征变换， 由此 建立了网络的三层下采样层； 步骤八： 通过近邻点加权插值以及回溯的方法进行三次上采样， 将步骤七中下采样得 到的点云数据重新恢复到原始点云规模并使用多层感知机融合特征； 使用softmax逐点判 断重新恢复后点云数据中的每 个点所属背景或类别的概 率， 得到分割结果； 步骤九： 选择交叉熵损 失函数用以计算训练网络的误差， 通过梯度下降法最小化网络 损失， 训练可 学习的网络参数， 使得网络结果达 到收敛， 得到训练好的点云 分割网络； 步骤十： 给定新的待分割的点云数据， 根据步骤九中训练好的点云分割网络参数， 执行 步骤一至步骤八， 得到点云数据的分割结果。 2.根据权利要求1所述的基于自适应特征采样的点云语义分割方法， 其特征在于， 步骤 二具体为： 对转换后的点云数据， 使用最远点采样方法进行降采样， 得到点集 其中N代表降采样后的点集中点的个数， 3代表每个点的三维空 间坐标， 对应的特征表示为 其中N代表降采样后的点集中点的个 数， 6代表每个点的三维空间坐标和颜色特征H、 S、 V， 分别用xi和fi代表点集 中的每个点 三维空间坐标与其特 征。 3.根据权利要求2所述的基于自适应特征采样的点云语义分割方法， 其特征在于， 步骤 三具体为： 采用K ‑近邻算法对点集 中的每个点xi进行邻域搜索， 获取到k个邻居点以及k 个邻居点的特征， 其中， k个邻居点表示为 k个邻居点的特征表示为 4.根据权利要求3所述的基于自适应特征采样的点云语义分割方法， 其特征在于， 步骤 四具体为： 将步骤三中获得的k个邻居点的特征 进行自适应特征变换， 获 得自适应调整后的各邻域内自适应特 征 权　利　要　求　书 1/3 页 2 CN 115273081 A 2其中： fi,c是点集 中的点xi所在邻域内的第c个邻居 点特征， 其经自适应 特征变换调整 之后得到自适应特征 函数通过枚举点xi的每个邻居点xi,j,(j ＝1,…,k)与xi的第c个邻居点xi,c进行距离加权点积计算， 以此衡量点xi的第c个邻居点与 所有邻居点的特征相似度， θ和 δ是三个相互独立的卷积操作， 其目的是转换点坐标或特 征的维度使得矩阵乘法得以进行， γ是池化操作。 5.根据权利要求4所述的基于自适应特征采样的点云语义分割方法， 其特征在于， 步骤 五具体为： 将步骤四获得自适应调整后的各邻域内自适应特征 采用一 个权值共享的多层感知机关联起来， 并归一化获得点xi的自适应特征f ’i， 对点xi的自适应 特征f’i与点集 中的所有点x1,…,xN以及其特征f1,…,fN进行非局部特征变换获得点xi的 非局部特 征fni： 其中H(f’i,fj)函数用于完成点xi的自适应特征f ’i与点集 中其他点特征fj的相似度 度量， θ′和g′是三个空间映射操作， 将一个空间里的实体投射到线性向量空间中,Wg、 和Wθ是可学习的权 重矩阵。 6.根据权利要求5所述的基于自适应特征采样的点云语义分割方法， 其特征在于， 步骤 六具体为： 将步骤五中获得的点xi的自适应特征f ’i与非局部特征fni， 以及特征fi相结合， 获 得最后本次降采样过程的输出 特征fF： fF＝[f’i,fni,fi]。 7.基于自适应特 征采样的点云语义分割 系统， 其特 征在于， 包括： 点云数据转换模块： 用于对包含颜色信 息的点云数据进行颜色通道转换， 将其中的RGB 通道转换为HSV通道， 并保留原 始点云数据的三维空间坐标， 获得转换后的点云数据； 降采样模块： 用于对转换后的点云数据， 使用最远点采样方法进行降采样， 得到点集以 及点集对应的特 征； 邻域搜索模块： 用于对点 集中的每 个点进行邻域搜索， 获取到k个邻居点； 自适应特征变换模块： 用于将k个邻居点的特征进行自适应特征变换， 获得自适应调整 后的各邻域内自适应特 征； 非局部特征获取模块： 用于将 获得自适应调整后的各邻域内自适应特征采用一个权值 共享的多层感知机关联起来， 并归一化获得某点的自适应特征， 对该点的自适应特征与点 集中的所有点及其对应的特 征进行非局部特 征变换获得 该点的非局部特 征； 降采样过程的输出特征获取模块： 用于将某点的自适应特征与非局部特征， 以及降采 样模块中的特 征相结合， 获得本次降采样过程的输出 特征；权　利　要　求　书 2/3 页 3 CN 115273081 A 3