(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211035662.3 (22)申请日 2022.08.26 (71)申请人 中国人民解 放军军事科学院国防工 程研究院 地址 100000 北京市海淀区太平路2 2号院 (72)发明人 朱海峰　陈晓　房雨雨　秦昊　 刘引　周校　张辉　 (74)专利代理 机构 合肥汇融专利代理有限公司 34141 专利代理师 赵宗海 (51)Int.Cl. G06T 17/00(2006.01) G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 10/46(2022.01) G06V 10/74(2022.01) G06F 16/903(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 面向数字孪生的三维室内场景快速高精度 重建方法及系统 (57)摘要 本发明涉及数字孪生技术领域， 解决了目前 三维室内场景重建技术效率低、 重建精度不够导 致数字孪生应用体验较差的技术问题， 尤其涉及 一种面向数字孪生的三维室内场景快速高精度 重建方法， 该方法包括以下步骤： S1、 获取室内场 景的三维点云数据； S2、 采用三维点云语义分割 网络对室内场景的三维点云数据进行语义分割， 以得到不同类别的实例对象点云数据； S3、 采用 零件语义分割网络对不同类别的实例对象点云 数据进行零件级别的语义分割； S4、 根据零件级 别的语义分割结果定义描述符。 本发 明可以有效 分析、 提取三维场景的语义信息， 并基于三维点 云数据高精度重建三维场景空间拓扑， 大大简化 了场景数据存储及方便后续智能编辑与交 互。 权利要求书2页 说明书8页 附图7页 CN 115512040 A 2022.12.23 CN 115512040 A 1.一种面向数字孪生的三维室内场景快速高精度重建方法， 其特征在于， 该方法包括 以下步骤： S1、 获取室内场景的三维点云数据； S2、 采用三维点云语义分割网络对室内场景的三维点云数据进行语义分割， 以得到不 同类别的实例对象点云数据； S3、 采用零件语义分割网络对不同类别的实例对象点云数据进行零件级别的语义分 割； S4、 根据零件级别的语义分割结果定义描述符； S5、 通过描述符的相似性在数据库中检索到最相似的三维网格模型； S6、 根据检索到的三维网格模型建立 三维变形网络； S7、 通过三维变形网络将检索到的三维网格模型变形到与实际测量点云数据更加相符 的状态； S8、 采用迭代最近点方法将所有变形后的三维网格模型放置到实际测量场景中， 用于 整个三维场景的快速高精度重建。 2.根据权利要求1所述的三维室内场景快速高精度重建方法， 其特征在于： 在步骤S2 中， 三维点云语义分割网络为： 在ScanNet数据集上训练好的多尺度特征融合的三 维点云语 义分割网络PointNet++， 用于分割室内场景的三维点云数据而获得不同语义的实例对象点 云数据。 3.根据权利要求1所述的三维室内场景快速高精度重建方法， 其特征在于： 在步骤S3 中， 零件语义分割网络为： 在ShapeNet数据集上训练好的多尺度特征融合的零件语义分割 网络PointNet++， 用于分割每一个由三维点云语义分割网络分割出来的实例对象点云数 据， 以获取不同语义的零件组成。 4.根据权利要求1所述的三维室内场景快速高精度重建方法， 其特征在于： 在步骤S4 中， 根据零件级别的语义分割结果定义描述符， 包括以下步骤： S41、 对任意一个不同类别的实例对象点云数据分割出来的零件组成， 分别提取一个 640维的形状描述子 ESF； S42、 根据预定义顺序将所有零件的形状描述子ESF拼接形成该实例对象点云数据的全 局描述子 。 5.根据权利要求1所述的三维室内场景快速高精度重建方法， 其特征在于： 在步骤S5 中， 通过描述符的相似性在数据库中检索到最相似的三维网格模型， 包括以下步骤： S51、 确定任意 一个不同类别的实例对象点云数据的第一全局描述子； S52、 获取ShapeNet数据库中每一个三维网格模型相对应的一个语义类别和一个第二 全局描述子； S53、 比较第 一全局描述子与相应语义类别下所有第 二全局描述子的相似性， 提取与第 二全局描述子最相似的三维网格模型。 6.根据权利要求5所述的三维室内场景快速高精度重建方法， 其特征在于： 在步骤S52 中， 获取第二全局描述子包括以下步骤： S521、 通过最远点采样方法在三维网格模型表面采样获取若干个三维空间点； S522、 采用零件语义分割网络对由若干个三维空间点组成的点云数据进行零件级别的权　利　要　求　书 1/2 页 2 CN 115512040 A 2分割； S523、 根据零件语义分割结果计算由若干个三维空间点组成的点云数据的全局描述 子， 为三维网格模型对应的第二全局描述子 。 7.根据权利要求5所述的三维室内场景快速高精度重建方法， 其特征在于： 在步骤S53 中， 提取与第二全局描述子最相似的三维网格模型， 包括以下步骤： S531、 计算第一全局描述子与Shap eNet数据库中相应语义类别下所有第二全局描述子 的欧式距离； S532、 提取距离最小 的第二全局描述子对应的三维网格模型， 即为与第一全局描述子 对应的实例对象最相似的三维网格模型。 8.根据权利要求1所述的三维室内场景快速高精度重建方法， 其特征在于： 在步骤S6 中， 建立三维变形网络包括以下步骤： S61、 确定三维变形网络的输入、 输出； S62、 建立 三维变形网络 框架； S63、 对三维变形网络进行训练。 9.根据权利要求8所述的三维室内场景快速高精度重建方法， 其特征在于： 在步骤S62 中， 建立三维变形网络 框架包括以下步骤： S621、 采用一个两流暹罗层对点云数据进行 特征编码； S622、 将特征编码进行重复拓展， 并得 出相应的第一特 征解码层的输入和输出； S623、 将特征编码进行特征拼接后进行重复拓展， 并得出相应的第二特征解码层的输 入和输出。 10.一种用于实现上述权利要求1 ‑9任一项所述的三维室内场景快速高精度重建方法 的系统， 其特 征在于， 包括： 三维点云数据获取模块(10 0)， 用于获取室内场景的三维点云数据； 第一语义分割模块(200)， 用于采用三维点云语义分割网络对室内场景的三维点云数 据进行语义分割， 以得到不同类别的实例对象点云数据； 第二语义分割模块(300)， 用于采用零件语义分割网络对不同类别的实例对象点云数 据进行零件级别的语义分割； 描述符定义模块(40 0)， 用于根据零件级别的语义分割结果定义描述符； 三维网格模型检索模块(500)， 用于通过描述符的相似性在数据库中检索到最相似的 三维网格模型； 三维变形网络建立模块(6 00)， 用于根据检索到的三维网格模型建立 三维变形网络； 变形模块(700)， 用于通过三维变形网络将检索到的三维网格模型变形到与实际测量 点云数据更加相符的状态； 三维网格模型放置模块(800)， 用于采用迭代最近点方法将所有变形后的三维网格模 型放置到实际测量场景中， 用于整个三维场景的快速高精度重建。权　利　要　求　书 2/2 页 3 CN 115512040 A 3