(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210564080.8 (22)申请日 2022.05.23 (71)申请人 松立控股集团股份有限公司 地址 266000 山东省青岛市 市南区宁 夏路 288号软件园6号楼1 1层 (72)发明人 刘寒松　王国强　王永　翟贵乾　 刘瑞　李贤超　 (74)专利代理 机构 青岛高晓专利事务所(普通 合伙) 37104 专利代理师 黄晓敏 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 5/00(2006.01) G06N 3/08(2006.01)G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于侧方位相机的车辆表面异常检测 方法 (57)摘要 本发明属于车辆表 面检测技术领域， 涉及一 种基于侧方位相机的车辆表面异常检测方法， 通 过构建数据集训练图像分割网络， 然后对分割后 的图像构建图像修复数据集， 构建图像修复网络 模型， 对原始图像掩膜处理后再进行修复处理， 通过SSIM计算原始图像与修复后的图像之间的 相似度， 从左上角遍历到右下角， 如果所有 图像 块修复后与原始图像相似， 则认 为该车辆可见部 分不存在异常， 如果有异常的块， 则该车辆表面 存在异常， 通过这种方法可快速有效的检测到车 辆表面的异常。 权利要求书2页 说明书4页 附图1页 CN 114782409 A 2022.07.22 CN 114782409 A 1.一种基于侧方位相机的车辆表面异常检测方法， 其特 征在于， 具体过程 为： （1） 构建车辆分割数据集： 收集路侧 停车场侧方位相机的视频图像， 并对图像 中的车辆 表面进行分割标注， 将图像中的像素分类成车辆表面类和背景类得到分割 数据集， 再将分 割数据集 根据实际需要划分为训练集、 验证集和 测试集； （2） 利用分割网络对车辆表面图像进行分割： 将车辆表面图像的像素缩放到1333*800， 选用图像分割网络对车辆表面图像进行分割， 并设定其能量损失； （3） 对车辆表面图像进行掩膜处理和修复： 将步骤 （2） 得到的每个车辆表面图像缩放到 512*256分辨率大小， 对于鱼眼摄像头采集到的图像中如 有分割到两个车的情况， 依次对每 个车进行掩膜处理， 掩膜大小为64*32像素， 从左 上角往右下角依次进行掩膜处理， 背景部 分不进行处理， 每辆车辆掩膜最多有64个； 从掩膜处理后的图像中选择64张图像一起输入 卷积神经网络进行修复得到掩膜修复后的图像； （4） 原始图像与掩膜修复后的图像进行对比： 利用步骤 （3） 得到的掩膜修复后的图像与 原始图像做对比， 对64个做图像修复的每个位置进行相似度判断， 如果原始表面图像与修 复的图像之间相似则判断该位置没有残损， 如果表面图像与修复图像之间不相似， 则判断 有残损； （5） 训练网络得到训练好的参数模型： 利用步骤 （2） 中的分割结果制作数据集， 选用 1000张分割后的图像进行缩放后将每张图像从左上角到右下角依次掩膜后作为网络的输 入训练样本， 网络输出为未经过掩膜处理的图像， 再采用绝对值损失计算损失误差， 通过反 向传播更新参数， 经过设定次数 的完整训练集训练迭代后， 保存验证集上结果最好的模型 参数， 作为 最终模型训练好的参数， 即得到训练好的图像修复 网络参数； （6） 通过推理得到结果： 将侧方位监控相机的视频图像输入到步骤 （5） 训练好的图像修 复网络中进行前向推理得到修复后的车辆表面图像， 再通过步骤 （4） 判断拍摄的车辆是否 存在表面异常。 2.根据权利要求1所述基于侧方位相机的车辆表面异常检测方法， 其特征在于， 步骤 （2） 中所选取的图像分割网络模型为动态并快速语义分割模型。 3.根据权利要求2所述基于侧方位相机的车辆表面异常检测方法， 其特征在于， 步骤 （3） 中所述卷积神经网络包括九个卷积模块， 自左至右依次为卷积模块1、 卷积模块2、 卷积 模块3、 卷积模块4、 卷积模块5、 卷积模块4、 卷积模块3、 卷积模块2和卷积模块1， 最左侧卷积 模块1中第一层卷积层的卷积核为192*3*3， 192表示64张彩色图像作为图像组一起输入到 卷积神经网络， 3*3表 示在图像坐标平 面内是采用3*3卷积， 该层共有64个卷积核， 卷积模块 1中的第二个卷积层的卷积为64*3*3， 得到的特征层的大小为64*512*256， 64为特征层的厚 度， 512*256为特征层平面的维度， 在卷积模块2、 3、 4、 5中， 卷积核 的个数依次为128、 256、 512和512。 4.根据权利要求3所述基于侧方位相机的车辆表面异常检测方法， 其特征在于， 步骤 （4） 中所述相似度判断采用结构相似性 准则SSIM进行判断， S SIM计算过程如下： ，权　利　要　求　书 1/2 页 2 CN 114782409 A 2其中和分别为原始图像 Ig与修复图像 Id的像素平均值， 和分别为原始图像 Ig与修复图 像Id的标准差， 为协方差， c1与c2为常数， c1取6.5025， c2取58.5225； SSIM取值范围在0~1， 越 接近1说明修复得到的图像越接近原来的真实图像， 如果SSIM≥0.8， 则判断原始表面图像 没有异常， 如果S SIM<0.8， 则判断原 始的车辆表面存在残损， 进行报警提 示。 5.根据权利要求4所述基于侧方位相机的车辆表面异常检测方法， 其特征在于， 步骤 （5） 中输入的训练样本图片尺寸为 ， 按照批次尺寸B， 依次输入到网络中， 整个网络的输入为 。权　利　要　求　书 2/2 页 3 CN 114782409 A 3