(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211334139.0 (22)申请日 2022.10.28 (71)申请人 纵目科技(上海)股份有限公司 地址 201203 上海市浦东 新区祥科路1 11号 腾飞科技楼3号楼8层 (72)发明人 宋京　吴子章　王凡　 (74)专利代理 机构 上海专利商标事务所有限公 司 31100 专利代理师 蔡悦 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/26(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 基于语义分割的地 面标志矢量 化方法 (57)摘要 本公开涉及一种基于语义分割的地面标志 矢量化方法和系统。 该方法包括： 将来自多个鱼 眼相机的鱼眼原图拼接成鸟瞰图； 使用深度神经 网络来识别所述鸟瞰图中的每一像素的类型， 其 中像素的类型包括箭头、 减速 带、 斑马线、 车道线 中的一者 或多者以及背景； 根据像素的类型来提 取地面标志； 以及计算地面标志矢量， 所述地面 标志矢量包括所提取的地面标志相对于自车的 方向、 角度以及相对距离 。 权利要求书2页 说明书8页 附图10页 CN 115527179 A 2022.12.27 CN 115527179 A 1.一种基于语义分割的地 面标志矢量 化方法， 包括： 将来自多个鱼眼相机的鱼眼原图拼接成鸟瞰图； 使用深度神经网络来识别所述鸟瞰图中的每一像素的类型， 其中像素的类型包括箭 头、 减速带、 斑马线、 车道线中的一 者或多者以及背景； 根据像素的类型来 提取地面标志； 以及 计算地面标志矢量， 所述地面标志矢量包括所提取的地面标志相对于自车的方向、 角 度以及相对距离 。 2.根据权利要求1所述的方法， 其特征在于， 所述多个鱼眼相机包括设置在 自车的前、 后、 左、 右的四个鱼眼相机 。 3.根据权利要求1所述的方法， 其特征在于， 还包括在所拼接成的鸟瞰图中滤除自车所 占据的区域。 4.根据权利要求1所述的方法， 其特征在于， 根据像素的类型来提取地面标志包括对于 非背景类型的像素： 将每一类型的像素编组在一 起； 以及 获取该像素编组的最小外 接矩形来作为该类型的地 面标志的轮廓。 5.根据权利要求 4所述的方法， 其特 征在于， 还 包括： 确定每一像素编组中包括的像素 是否属于同一个地 面标志； 以及 针对属于同一个地面标志的所有像素， 获取这些像素的最小外接矩形来作为该地面标 志的轮廓。 6.根据权利要求5所述的方法， 其特征在于， 确定每一像素编组中包括的像素是否属于 同一个地面标志包括使用k均值聚类算法来确定像素编组中的各像素是否属于同一聚类， 并且属于同一聚类的像素属于同一个地 面标志。 7.根据权利要求6所述的方法， 其特征在于， 获取属于同一个地面标志的所有像素的最 小外接矩形包括： 获取这些像素中的最小和最大x轴坐标以及最小和最大y轴坐标来组成四个顶点， 以确 定初始外 接矩形； 对所述初始外接矩形进行旋转以更新这四个顶点， 直至获得最小外接矩形， 并且得到 所述最小外接矩形的四个顶点的坐标和角度。 8.根据权利要求7 所述的方法， 其特 征在于， 计算 地面标志矢量包括： 通过计算地面标志的最小外接矩形的角度与自车之间的夹角来确定地面标志相对自 车的方向和角度； 以及 通过自车的中心点与最小外接矩形中心之间的像素距离， 经由鸟瞰图像素到物理距离 的比例关系来得 出地面标志相对于自车的距离 。 9.根据权利要求5所述的方法， 其特 征在于， 还 包括对于箭头类型的地 面标志： 将地面箭头的最小外接矩形输入到地面箭头分类模型， 以得到箭头的子类型， 箭头的 子类型包括左转 箭头、 右转 箭头、 前进左转 箭头、 前进右转 箭头、 掉头箭头 。 10.根据权利 要求9所述的方法， 其特征在于， 所述地面箭头分类模型是基于LeNet ‑5的 模型， 依次包括输入层、 第一卷积层、 第一池化层、 第二卷积层、 第二池化层、 第一全连接层、 第二全连接层以及输出层。权　利　要　求　书 1/2 页 2 CN 115527179 A 211.根据权利要求4 ‑10中的任一项所述的方法， 其特征在于， 还包括将所提取的地面标 志存储在储存库中， 以供用于对所述深度神经网络进行训练。 12.根据权利要求1所述的方法， 其特征在于， 还包括使用所获得的地面标志矢量来用 于自车的自动驾驶和/或辅助驾驶。 13.一种基于语义分割的地 面标志矢量 化系统， 包括： 设置在车辆上的多个鱼眼相机； 以及 车载计算机， 其中所述多个鱼眼相机被配置成在采集同一时刻的多个鱼眼图像并将这些鱼眼图像 传送给所述车载计算机， 并且其中所述车 载计算机被 配置成执 行根据权利要求1 ‑12中的任一项所述的方法。 14.一种包括 根据权利要求13所述的系统的机动车。权　利　要　求　书 2/2 页 3 CN 115527179 A 3