(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210780776.4 (22)申请日 2022.07.04 (71)申请人 山东高速路桥国际工程有限公司 地址 250014 山东省济南市历下区经十路 14677号 申请人 中国水利水电第八工程局有限公司 (72)发明人 赵连旨　齐鲁杰　朱岩　刘中良　 陈振山　吕金　王栋　何爱东　 柯小勇　刘晓东　杨海波　李宏波　 郭忠峰　李斌　时圣辉　万海峰　 刘亚敏　任金来　 (74)专利代理 机构 山东三邦知识产权代理事务 所(普通合伙) 37308 专利代理师 肖太升(51)Int.Cl. G06V 10/764(2022.01) G06V 10/26(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/70(2022.01) (54)发明名称 机场湿滑道面抗滑能力的检测模型和检测 方法 (57)摘要 本发明提出了一种基于场景图分割和多模 态的检测模型和基于模型的机场湿滑道面抗滑 能力检测方法， 使用的 图像分割模型(APSegNet) 即基于编码器 ‑解码器架构的模 型可更好地将场 景图特征进行像素级别的分不同尺 寸的提取。 采 用横向和纵向的移动窗口， 能让特征提取的卷积 函数更加聚焦在特征图的特定位置， 引入更加完 备的位置信息。 湿度预测的模型APHumidNet能够 采用多模态的特征融合方式， 在不同角度融合道 面、 天空、 绿化和掩膜的飞机的特征， 从而能对机 场的道面进行湿度检测。 由于湿度不同， 对于道 面的抗滑能力有所影响， 那么可以计算新的图像 中道面抗滑因子并反馈给驾驶系统， 进行速度调 整或者刹车系统的调整， 以便达到较 短的刹车距 离， 保证驾驶 安全。 权利要求书2页 说明书8页 附图4页 CN 115100475 A 2022.09.23 CN 115100475 A 1.一种基于场景图分割和多模态的机场湿滑道面抗滑能力 检测模型的训练方法， 其特 征在于， 包括如下步骤： S1： 通过高速相机收集机场在不同的天气状况下的高清照片并测量机场的湿度得到湿 度状态； 潮湿状态分为5个级别， 分别为0 ‑极干燥， 1 ‑干燥， 2‑稍潮湿， 3‑一般潮湿， 4 ‑极潮湿； S2： 图像标注 图像的标注分两个方向同时进行， 一个方向是分割标注， 另一个是湿度标注； S3： 在分割标注方向， 使用l abelme软件， 通过多边形描出图像上的道面、 天空、 飞机、 绿 化四类物体的轮廓， 然后保存为jso n格式的文件； S4： 在湿度标注方向， 把照片和 S1采集的湿度数据按照级别分别放在0到4这5个文件夹 里， 图片根据当时拍摄的湿度等级放入 对应的文件夹， 则标记完成； S5： 使用S3标注的图像， 训练一个图像分割模型(AP SegNet)； S6： 通过S3标注的图像和S4标注的图像对应的道面湿度， 进行多模态场景图像道面湿 度预测模型训练， 得到一个 湿度预测模型(APHumidNet)。 2.根据权利要求1所述的基于场景图分割和多模态的机场湿滑道面抗滑能力 检测模型 的训练方法， 其特 征在于， 步骤S5中的APSegNet是一种基于编码器 ‑解码器架构的模型， 具体的， 输入的图像尺寸 为[3,H,W]， 在编码器部分， 输入图像首先经过一个卷积下采样模块， 尺寸变为[C1,H/2,W/ 2]， 即通道变为C1， 宽度和高度变为原 来的1/2， 结果记 为A1； 然后通过一个移动窗口分块多 层感知机的下采样， 尺寸变为[C2,H/4,W/4]， 其结果记为A2； 紧接着一个卷积下采样， 尺寸 变为[C3,H/8,W/8]， 结果记 为A3； 再通过一个移动窗口分块多层感知机的下采样模块， 尺寸 变为[C4,H/16,W/16]， 其结果记为A4； 最后再经过一个卷积下采样， 尺寸变为[C5,H/32,W/ 32]， 其结果记为A5； 编码器的输出A5首先经过一个卷积上采样模块， 尺寸变为[C4,H/16,W/ 16]， 这里通道数变为C4， 宽度和高度变为原来的2倍， 其结果记为B4； 然后编码器的输出A4 和B4进行向量相加， 作为下一个模块移动窗口分块多层感知机 ‑上采样的输入， 输出结果尺 寸为[C3,H/8,W/8]， 其结果记 为B3； 然后该输出和对应的编码器的输出A3进行向量相加， 作 为下一个模块卷积上采样的输入， 输出结果尺 寸为[C2,H/4,W/4]， 其结果记为B2； B2再和对 应的编码器输出A2进行向量相加， 作为下一个模块移动窗口分块多层感知机 ‑上采样的输 入， 输出结果尺寸为[C1,H/2,W/2]， 其结果记为B1； B1和对应的编码器的输出A1进行向量相 加， 作为下一个模块卷积上采样的输入， 最后解码器的输出尺寸 为[4,H,W]。 3.根据权利要求2所述的基于场景图分割和多模态的机场湿滑道面抗滑能力 检测模型 的训练方法， 其特 征在于， 所述的卷积下采样和上采样模块都是由一个卷积块、 一个批归一化和一个激活块组 成； 卷积块的卷积核 大小为3×3， 步长为1， 填充为 1； 对于下采样模块， 每个激活块后接一个 窗口大小为2 ×2的最大池化 块； 然后对于上采样模块， 每 个激活块后接一个双线性插值 块。 4.根据权利要求2所述的基于场景图分割和多模态的机场湿滑道面抗滑能力 检测模型 的训练方法， 其特 征在于， 所述的移动窗口分块多层感知机的输入特征图大小为[C,W,H]， 首先经过一个补丁嵌 入块， 输出尺寸为[W/2 ×H/2， 2C]， 记为M； 经过矩阵变形， 尺寸变为[2C,W/2,H/2]； 然后， 经权　利　要　求　书 1/2 页 2 CN 115100475 A 2过一个横向的移动窗口， 输出尺 寸为[W/2 ×H/2,2C]； 然后， 经过全连接层1， 尺 寸大小不变； 后面， 接着是深度卷积块， 输出尺寸不变； 紧接着是激活函数， 不改变尺寸； 再接着矩阵变 形， 尺寸大小变为[2C,W/2,H/2]； 后面紧跟着一个纵向移动窗口块， 输出大小变为[W/2 ×H/ 2,2C]； 再接着全 连接层2， 输出大小还是[W/2 ×H/2,2C]， 记为N； 将M和N进行向量相加， 得到 移动窗口分块多层感知机的输出， 尺寸 为[W/2×H/2,2C]。 5.根据权利要求4所述的基于场景图分割和多模态的机场湿滑道面抗滑能力 检测模型 的训练方法， 其特 征在于， 所述的补丁嵌入块中， 输入特征 图尺寸为[C,W,H]， 经过投影卷积后， 尺寸变为[2C,W/ 2,H/2]； 接下来执行矩阵扁平化， 尺寸变为[2C,W/2 ×H/2]； 最后经过批归一化， 输出尺寸为 [W/2×H/2,2C]。 6.根据权利要求1所述的基于场景图分割和多模态的机场湿滑道面抗滑能力 检测模型 的训练方法， 其特 征在于， 步骤S6中湿度预测模型(APHumidNet)采用预训练的ResNet深度残差网络 。 7.一种权利要求1 ‑6所述的方法构建的机场湿滑 道面抗滑能力检测模型。 8.一种基于权利要求7所述模型的机场湿滑道面抗滑能力检测方法， 其特征在于， 具体 步骤如下： (1)通过高速摄像头拍 待检测机场道面的场景图像， 图像尺寸512x512， 加载APSegNet 图像分割模型， 通过分割模 型来分割出道面、 天空、 飞机、 绿化四类物体， 然后加载湿度预测 型模型， 将分割的物体的图像输入到湿度预测模型， 预测道面湿度状态； (2)通过预测到的湿度状态得到对应的影响因子， 最后得到机场的当前抗滑力状态下 的BPN值； 当前抗滑力状态下的BPN 值＝干燥条件下的抗滑力BPN ×影响因子(a)(1 1)。 9.一种服务器， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求8的方法步 骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现权利要求8的方法步骤。权　利　要　求　书 2/2 页 3 CN 115100475 A 3