(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211085536.9 (22)申请日 2022.09.06 (71)申请人 珠海金山数字网络科技有限公司 地址 519000 广东省珠海市高新区唐家湾 镇前岛环路325号102室、 202室、 302 室、 402室,327号102室、 202室,329号 302室 (72)发明人 高文靖　温佩贤　杜晓荣　 (74)专利代理 机构 北京智信禾专利代理有限公 司 11637 专利代理师 张瑞 (51)Int.Cl. G06T 19/00(2011.01) G06V 10/42(2022.01) G06V 10/44(2022.01)G06V 10/80(2022.01) G06V 10/74(2022.01) G06V 10/762(2022.01) G06V 20/64(2022.01) G06V 10/82(2022.01) G06V 10/50(2022.01) G06T 3/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 虚拟场景确定方法及装置 (57)摘要 本申请提供一种虚拟场景确定方法及 装置， 其中所述虚拟场景确定方法包括： 获取目标对象 的三维点云数据， 并确定所述三维点云数据的全 局特征以及局部特征； 根据所述全局特征获得所 述三维点云数据对应的对象标签， 并根据所述对 象标签以及所述局部特征， 与模 型特征库中三维 点云数据的局部特征和对象标签进行匹配， 确定 所述目标对象对应的目标三维模 型； 根据所述目 标三维模型对 预设场景进行场景处理， 获得目标 虚拟场景。 通过对所述三维点云数据进行全局特 征以及局部特征的提取， 将全局特征输入至物体 识别模型， 得到对象标签， 并根据对象标签在模 型特征库中确定目标三维模型， 由于融合了模型 的全局特征和局部特征， 提高了三维点云数据的 识别正确率。 权利要求书3页 说明书17页 附图5页 CN 115471636 A 2022.12.13 CN 115471636 A 1.一种虚拟场景确定方法， 其特 征在于， 包括： 获取目标对象的三维点云数据， 并确定所述 三维点云数据的全局特 征以及局部特 征； 根据所述全局特征获得所述三维点云数据对应的对象标签， 并根据所述对象标签以及 所述局部特征， 与模型特征库中三维点云数据的局部特征和对 象标签进行匹配， 确定所述 目标对象对应的目标三维模型； 根据所述目标三维模型对预设场景进行场景处 理， 获得目标虚拟场景。 2.根据权利要求1所述的方法， 其特征在于， 所述确定所述三维点云数据的全局特征以 及局部特 征， 包括： 确定所述三维点云数据的局部坐标系， 将所述三维点云数据与 所述局部坐标系进行对 齐， 获得目标点云数据； 将所述目标点云数据进行栅格化， 并生成所述 三维点云数据的全局特 征； 确定所述三维点云数据的查询点， 根据所述查询点构建查询邻域， 并根据所述查询邻 域确定所述 三维点云数据的局部特 征。 3.根据权利要求2所述的方法， 其特征在于， 所述确定所述三维点云数据的局部坐标 系， 将所述 三维点云数据与所述局部坐标系进行对齐， 获得目标点云数据， 包括： 根据所述 三维点云数据， 通过主成分 分析法计算所述 三维点云数据的局部坐标系； 将所述三维点云数据的坐标转换至所述局部坐标系的坐标， 获得目标点云数据。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述三维点云数据， 通过主成分 分析法计算所述 三维点云数据的局部坐标系， 包括： 确定所述 三维点云数据的质心点， 并根据所述 三维点云数据构造协方差矩阵； 根据所述协方差矩阵与所述质心点， 通过 特征分解确定局部坐标系； 相应地， 所述将所述目标点云数据进行栅格化， 并生成所述三维点云数据的全局特征， 包括： 确定所述目标点云数据在所述局部坐标系中的包围盒， 并对所述包围盒中的目标点云 数据进行分割， 获得点云集 合， 其中， 所述包围盒包括所述目标点云数据的点； 对所述点云集合进行特征提取， 并对提取后的特征进行预处理， 生成所述三维点云数 据的全局特 征。 5.根据权利要求2所述的方法， 其特征在于， 所述确定所述三维点云数据的查询点， 根 据所述查询点构建查询邻域， 并根据所述查询邻域确定所述三维点云数据的局部特征， 包 括： 确定所述 三维点云数据的查询点， 以所述 查询点为中心构建预设 半径的查询邻域； 根据所述 查询点的查询邻域， 确定所述 查询邻域中的法向坐标系； 根据所述查询点、 所述查询邻域中的三维点云数据、 以及所述查询邻域中的法向坐标 系， 确定所述 三维点云数据的局部特 征。 6.根据权利要求1所述的方法， 其特征在于， 所述根据所述全局特征获得所述三维点云 数据对应的对象标签， 包括： 将所述全局特 征输入物体识别模型， 获得 所述三维点云数据对应的对象标签。 7.根据权利要求6所述的方法， 其特征在于， 所述将所述全局特征输入物体识别模型， 获得所述三维点云数据对应的对象标签， 包括：权　利　要　求　书 1/3 页 2 CN 115471636 A 2将所述全局特征输入物体识别模型， 通过所述物体识别模型的第一卷积层、 第二卷积 层和第三卷积层， 得到第一尺度特 征图、 第二尺度特 征图和第三尺度特 征图； 将所述第一尺度特征图、 第二尺度特征图和第三尺度特征图， 分别通过所述物体识别 模型的第一 转置卷积层、 第二 转置卷积层和第三 转置卷积层， 得到融合特 征图； 根据所述融合特 征图， 获得 所述三维点云数据对应的对象标签。 8.根据权利要求1或7所述的方法， 其特征在于， 所述根据所述对象标签以及所述局部 特征， 与模型特征库中三维点云数据的局部特征和对 象标签进行匹配， 确定所述 目标对象 对应的目标三维模型， 包括： 根据所述对象标签与模型特征库中三维点云数据的对象标签进行匹配， 确定待配准点 云数据； 将所述局部特 征与所述待配准 点云数据的局部特 征进行匹配， 确定配准 点云； 根据所述配准 点云， 确定所述目标对象对应的目标三维模型。 9.根据权利要求8所述的方法， 其特征在于， 所述将所述局部特征与 所述待配准点云数 据的局部特 征进行匹配， 确定配准 点云， 包括： 根据所述局部特征与所述待配准点云数据的局部特征进行匹配， 确定至少两个采样 点； 根据所述至少两个采样点， 计算 点变换后的误差值， 得到误差值 集合； 根据预设规则从所述 误差值集合中选择目标误差值对应的待配准 点云作为配准 点云。 10.根据权利要求6所述的方法， 其特征在于， 所述将所述全局特征输入物体识别模型， 获得所述三维点云数据对应的对象标签之前， 还 包括： 确定样本对象的三维点云数据以及类别标签； 提取所述样本对象的三维点云数据的样本全局特 征； 根据所述样本全局特 征以及所述类别标签训练获得物体识别模型； 确定样本三维点云数据的局部特 征； 根据所述样本三维点云数据的局部特 征构建所述模型 特征库。 11.根据权利要求1所述的方法， 其特征在于， 所述根据所述目标三维模型对预设场景 进行场景处 理， 获得目标虚拟场景， 包括： 将所述目标三维模型的点云数据与所述 三维点云数据进行匹配， 得到点云配准矩阵； 根据所述 点云配准矩阵对所述目标三维模型进行处 理， 得到虚拟对象； 将所述虚拟对象叠加到所述预设场景中， 获得目标虚拟场景。 12.一种物体识别模型训练方法， 其特 征在于， 包括： 获取样本对象， 确定所述样本对象的三维点云数据以及类别标签； 提取所述样本对象的三维点云数据的样本全局特 征； 根据所述样本全局特 征以及所述类别标签训练获得物体识别模型。 13.一种虚拟场景确定装置， 其特 征在于， 包括： 特征提取模块， 被配置为获取目标对象的三维点云数据， 并确定所述三维点云数据的 全局特征以及局部特 征； 模型确定模块， 被配置为根据所述全局特征获得所述三维点云数据对应的对象标签， 并根据所述对象标签以及所述局部特征， 与模型特征库中三 维点云数据的局部特征和对象权　利　要　求　书 2/3 页 3 CN 115471636 A 3