(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211373680.2 (22)申请日 2022.11.04 (71)申请人 深圳市城市交通 规划设计 研究中心 股份有限公司 地址 518131 广东省深圳市龙华区民治街 道龙塘社区星河传奇花园三期商厦1 栋C座1210 申请人 深圳市交通科 学研究院有限公司 (72)发明人 贾磊　周子益　孟安鑫　刘星　 李鋆元　 (74)专利代理 机构 哈尔滨市伟晨专利代理事务 所(普通合伙) 23209 专利代理师 李晓敏 (51)Int.Cl. G06V 20/56(2022.01)G06V 10/82(2022.01) G06V 10/40(2022.01) G06V 10/26(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/80(2017.01) (54)发明名称 一种路面坑槽的识别和评价方法、 电子设备 及存储介质 (57)摘要 一种路面坑槽的识别和评价方法、 电子设备 及存储介质， 属于路面病害检测技术领域。 为提 高路面坑槽检测的准确度。 本发 明采集路面坑槽 的定位、 病害数据， 通过具有全球导航定位系统、 惯性导航系统、 里程编码计、 相机以及边缘计算 模组的采集车采集路面坑槽的定位数据、 道路图 像， 依据坑槽尺寸的维度和类型特征， 构建坑槽 状态评价指标体系， 评价指标包括长度、 面积、 角 度， 构建U Net深度学习网络 结构进行路面坑槽的 道路图像的路面坑槽区域识别及数据提取， 然后 进行像素运算处理， 划分坑槽智能识别图像中的 路面坑槽区域、 非路面坑槽区域， 利用卷积处理 方法提取路面坑槽区域的边缘像素数据计算评 价指标。 本发 明提高图像的质量和有效信息的提 取效果。 权利要求书4页 说明书12页 附图2页 CN 115424232 A 2022.12.02 CN 115424232 A 1.一种路面 坑槽的识别和评价方法， 其特 征在于： 包括如下步骤： S1、 采集路面坑槽的定位、 病害数据， 通过具有全球导航定位系统、 惯性导航系统、 里程 编码计、 相机以及边 缘计算模组的采集车采集路面 坑槽的定位数据、 道路图像； S2、 依据路面坑槽尺寸的维度和类型特征， 构建路面坑槽状态评价指标体系， 评价指标 包括长度、 面积、 角度； S3、 将步骤S1采集的路面坑槽的道路图像作为数据集， 构 建UNet深度学习网络结构， 采 用UNet目标分割方法进 行路面坑槽的道路图像的路面坑槽区域识别及数据提取， 得到路面 坑槽智能识别图像； S4、 选取步骤S1采集的路面坑槽的道路图像采用张正友标定方法， 确定相机的内参矩 阵、 外参矩阵， 建立路面 坑槽的道路图像 像素数据与路面 坑槽真实尺寸的换算关系； S5、 将步骤S3得到的路面坑槽智能识别图像进行像素运算处理， 划分路面坑槽智能识 别图像中的路面 坑槽区域、 非路面 坑槽区域， 得到划分区域后的图像； S6、 根据步骤S5划分的路面坑槽区域、 非路面坑槽区域的临界像素数据， 对步骤S5划分 区域后的图像进行降噪处 理， 利用卷积处 理方法提取路面 坑槽区域的边 缘像素数据； S7、 基于步骤S4、 步骤S5、 步骤S6得到的路面坑槽区域的像素数据及边缘像素数据， 分 别计算步骤S2中的评价指标。 2.根据权利要求1所述的一种路面坑槽的识别和评价方法， 其特征在于： 步骤S1中采集 路面坑槽的定位数据的具体实现方法包括如下步骤： S1.1、 分别采用IMU、 里程编码计、 GNSS采集路面坑槽的定位数据， 包括IMU、 里程编码计 和GNSS测量得到的位置数据 L1、L2、L3， IMU、 里程编码计和GNSS测量得到的速度数据 v1、v2、 v3； S1.2、 建立 k时刻的状态方程 Xk， 计算公式为： 其中，Xk‑1为k‑1时刻的状态方程， 为k‑1时刻的状态转移矩阵， 为k‑1时刻的系统 噪声， 为位置误差， 为速度误差， 分别为x， y， z三个方向的陀螺仪常值漂 移， 分别为x， y， z三个方向的加速度计的零偏； 当卫星信号没有高层建筑、 树木、 岩体遮挡时， 计算误差时， 以GNSS和IMU的数据平均 值 作为基准， 计算里程编码计与基准间的位置误差、 速度误差， 计算公式为： 当卫星信号受到高层建筑、 树木、 岩体遮挡时， 计算误差时， 不考虑GNSS的观测值， 计算 里程编码计与惯性 导航之间的位置误差、 速度误差， 计算公式为： S1.3、 建立 k时刻的量测方程 ， 计算公式为：权　利　要　求　书 1/4 页 2 CN 115424232 A 2其中， 为k时刻的测量 转移矩阵， 为k时刻的测量白噪声； 测量噪声满足高斯分布， 概 率函数 为： 其中， 为均值， σ 为标准差， x为自变量； S1.4、 将IMU、 里程编码计、 GNSS得到的数据， 在边缘计算模组中进行步骤S1.2的状态方 程和S1.3的量测方程的计算， 完成GNS S、 里程编码计与IMU的定位结果的融合。 3.根据权利要求1或2所述的一种路面坑槽的识别和评价方法， 其特征在于： 步骤S2中 路面坑槽状态评价指标 具体包括： 所述长度为路面坑槽一维尺寸的变化， 包括路面坑槽周长、 路面坑槽外接椭圆的长轴 长度和短轴长度、 外 接矩形的长度和宽度； 所述面积为路面 坑槽二维尺寸的变化， 包括路面 坑槽的面积； 所述角度为路面 坑槽外接椭圆长轴或短轴与竖直方向形成的方向角。 4.根据权利要求3所述的一种路面坑槽的识别和评价方法， 其特征在于： 步骤S3的具体 实现方法包括如下步骤： S3.1、 选取10000张步骤S1采集的路面坑槽 的道路图像， 作为数据集， 将数据集划 分为 训练集、 验证集、 测试集， 训练集包括6000张图像， 验证集包括2000张图像， 测试集包括2000 张图像； S3.2、 采用标注软件labelimg对步骤S3.1的数据集中的图像进行标注， 得到标注后的 数据集； S3.3、 构建UNet深度学习网络结构： S3.3.1、 设置UNet深度学习网络结构由编码器和解码器组成， 编码器包括4个下采样模 块， 每个下采样模块包括两个3 ×3的卷积层、 1个ReLU激活函数、 1个2 ×2的池化层； 解码器包括4个上采样模块， 每个上采样模块包括1个上采样的卷积层、 特征拼接 concat、 2个3 ×3的卷积层、 1个ReLU激活函数， 图像先通过编码器， 后通过解码器， 图像尺寸 为572×572； S3.3.2、 将步骤S3.2标注后的数据集输入到S3.3.1建立 的UNet深度学习网络结构中， 通过误差反向传播方法， 计算神经网络单元的权重和偏置， 完成UNet深度学习网络结构的 训练， 得到UNet深度学习网络模型； S3.3.3、 采用步骤S3.3.2的UNet深度学习网络模型， 进行路面坑槽区域识别及数据提 取， 路面坑槽区域识别数据包括路面坑槽在图像中的位置、 路面坑槽的轮廓、 路面坑槽的实 体区域， 得到路面 坑槽智能识别图像。 5.根据权利要求4所述的一种路面坑槽的识别和评价方法， 其特征在于： 步骤S4的具体 实现方法包括如下步骤： S4.1、 制作黑白棋盘 格， 用相机对黑白棋盘 格进行不同角度的拍摄， 拍摄图像为3 0张； S4.2、 对步骤S4.1拍摄的图像中的标定板角点进行检测， 得到标定板角点的像素坐标 值， 根据已知的棋盘 格大小和世界坐标系原点， 计算得到标定 板角点的物理坐标值；权　利　要　求　书 2/4 页 3 CN 115424232 A 3