(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210987210.9 (22)申请日 2022.08.17 (71)申请人 阿波罗智联 （北京） 科技有限公司 地址 100176 北京市大兴区经济技 术开发 区瑞合西二路7号院1号楼1层101 (72)发明人 刘宗岱　万吉　叶晓青　王军　 王井东　王亮　 (74)专利代理 机构 北京英赛 嘉华知识产权代理 有限责任公司 1 1204 专利代理师 王达佐　马晓亚 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 10/26(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 道路结构感知方法、 装置及计算机程序 产品 (57)摘要 本公开提供了一种道路结构感知方法、 装 置、 电子设备、 存储介质及程序产品， 涉及人工智 能技术领域， 具体涉及深度学习、 自动驾驶技术 领域。 具体实现方案为： 根据地图数据， 确定表征 当前位置周围的道路结构的第一感知结果； 通过 预训练的道路结构感知模型， 确定表征当前位置 周围的道路结构的第二感知结果； 根据第一感知 结果和第二感知结果， 生 成表征当前位置周围的 道路结构的最终感知结果。 本公开结合两种道路 结构感知方式， 在保证道路结构感知的适用范围 的基础上， 提高了道路结构感知结果的准确度。 权利要求书3页 说明书13页 附图6页 CN 115240171 A 2022.10.25 CN 115240171 A 1.一种道路结构感知方法， 包括： 根据地图数据， 确定表征当前位置周围的道路结构的第一感知结果； 通过预训练的道路结构 感知模型， 确定表征所述当前位置周围的道路结构的第 二感知 结果； 根据所述第 一感知结果和所述第 二感知结果， 生成表征所述当前位置周围的道路结构 的最终感知结果。 2.根据权利要求1所述的方法， 其中， 所述道路结构感知模型包括特征提取网络、 特征 空间转化网络和道路元 素分割网络， 以及 所述通过预训练 的道路结构 感知模型， 确定表征所述当前位置周围的道路结构的第 二 感知结果， 包括： 获取表征 所述当前位置周围的环境信息的、 不同角度的多个图像； 通过所述特征提取网络， 提取 所述多个图像中的每 个图像的二维特 征； 通过所述特征空间转化网络， 将所述多个图像对应的多个二维特征转化至鸟瞰图空间 下， 得到鸟瞰图空间特 征； 通过所述道路元素分割 网络， 根据所述鸟瞰图空间特征进行道路元素分割， 得到所述 第二感知结果。 3.根据权利要求2所述的方法， 其中， 所述通过所述特征空间转化网络， 将所述多个图 像对应的多个二维特 征转化至鸟瞰图空间下， 得到鸟瞰图空间特 征， 包括： 通过所述特征空间转化网络中与所述多个二维特征一一对应的多个特征空间转化矩 阵， 将所述多个二维特 征转化至鸟瞰图空间下， 得到鸟瞰图空间特 征。 4.根据权利要求1所述的方法， 其中， 还 包括： 根据所述第二感知结果， 修 正所述地图数据。 5.根据权利要求1所述的方法， 其中， 还 包括： 通过规划控制网络， 根据所述 最终感知结果确定自动驾驶车辆的驾驶指令 。 6.一种道路结构感知模型的训练方法， 包括： 基于地图数据， 生成训练样本集， 其中， 所述训练样本集中的训练样本包括表征同一位 置周围的环境信息的、 不同角度的多个图像和道路结构元 素标签； 利用机器学习方法， 以训练样本中的多个图像为输入， 以所述训练样本中的道路结构 元素标签为期望 输出， 训练初始 道路结构感知模型， 得到训练后的道路结构感知模型。 7.根据权利要求6所述的方法， 其中， 所述初始道路结构感知模型包括特征提取网络、 特征空间转 化网络和道路元 素分割网络， 以及 所述利用机器学习方法， 以训练样本中的多个图像为输入， 以所述训练样本中的道路 结构元素标签为期 望输出， 训练初始道路结构感知 模型， 得到训练后的道路结构感知 模型， 包括： 利用机器学习方法， 通过如下操作训练所述初始道路结构感知模型， 以得到训练后的 道路结构感知模型： 从所述训练样本集中选取训练样本； 通过所述特征提取网络， 提取所选取的训练样本中的多个图像中的每个图像的二维特 征；权　利　要　求　书 1/3 页 2 CN 115240171 A 2通过所述特征空间转化网络， 将所述多个图像对应的多个二维特征转化至鸟瞰图空间 下， 得到鸟瞰图空间特 征； 通过所述道路元素分割 网络， 根据所述鸟瞰图空间特征进行道路元素分割， 得到实 际 感知结果； 确定所述实际感知结果与所选取的训练样本中的道路结构元 素标签之间的损失； 根据所述损失， 更新所述特 征提取网络、 特 征空间转 化网络和道路元 素分割网络 。 8.根据权利要求7所述的方法， 其中， 所述通过所述特征空间转化网络， 将所述多个图 像对应的多个二维特 征转化至鸟瞰图空间下， 得到鸟瞰图空间特 征， 包括： 通过所述特征空间转化网络中与所述多个二维特征一一对应的多个特征空间转化矩 阵， 将所述多个二维特 征转化至鸟瞰图空间下， 得到鸟瞰图空间特 征。 9.根据权利要求6所述的方法， 其中， 所述基于地图数据， 生成训练样本集， 包括： 基于所述 地图数据， 生成道路结构元 素标签集合； 通过图像采集装置采集得到 图像组集合， 其中， 所述图像组集合中的每个图像组中包 括表征同一 位置周围的环境信息的、 不同角度的多个图像； 基于所述道路结构元素标签集合中的道路结构元素标签， 与 所述图像组集合中的图像 组之间关于位置信息的对应性， 生成训练样本， 以得到所述训练样本集。 10.一种道路结构感知装置， 包括： 第一确定单元， 被配置成根据地图数据， 确定表征当前位置周围的道路结构的第一感 知结果； 第二确定单元， 被配置成通过预训练的道路结构感知模型， 确定表征所述当前位置周 围的道路结构的第二感知结果； 第一生成单元， 被配置成根据所述第一感知结果和所述第二感知结果， 生成表征所述 当前位置周围的道路结构的最终感知结果。 11.根据权利要求10所述的装置， 其中， 所述道路结构感知模型包括特征提取网络、 特 征空间转 化网络和道路元 素分割网络， 以及 所述第二确定单 元， 进一步被配置成： 获取表征所述当前位置周围的环境信息的、 不同角度的多个图像； 通过所述特征提取 网络， 提取所述多个图像中的每个图像的二 维特征； 通过所述特征 空间转化网络， 将所述多 个图像对应的多个二维特征转化至鸟瞰图空间下， 得到鸟瞰图空间特征； 通过所述道路元 素分割网络， 根据所述鸟瞰图空间特 征进行道路元 素分割， 得到所述第二感知结果。 12.根据权利要求1 1所述的装置， 其中， 所述第二确定单 元， 进一步被配置成： 通过所述特征空间转化网络中与所述多个二维特征一一对应的多个特征空间转化矩 阵， 将所述多个二维特 征转化至鸟瞰图空间下， 得到鸟瞰图空间特 征。 13.根据权利要求10所述的装置， 其中， 还 包括： 修正单元， 被配置成根据所述第二感知结果， 修 正所述地图数据。 14.根据权利要求10所述的装置， 其中， 还 包括： 第三确定单元， 被配置成通过规划控制网络， 根据所述最终感知结果确定自动驾驶车 辆的驾驶指令 。 15.一种道路结构感知模型的训练装置， 包括：权　利　要　求　书 2/3 页 3 CN 115240171 A 3