(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211382753.4 (22)申请日 2022.11.07 (71)申请人 山东大学 地址 266200 山东省青岛市 即墨区滨 海路 72号 申请人 青岛海信 信息科技股份有限公司 (72)发明人 郑艳伟　高杨　孙钦平　于东晓　 马嘉林　崔方剑　张春雨　 (74)专利代理 机构 青岛华慧泽专利代理事务所 (普通合伙) 37247 专利代理师 刘娜 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/12(2017.01) G06T 7/13(2017.01)G06T 7/62(2017.01) G06T 7/136(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于计算机视觉的渣土车未苫盖检测 系统及检测方法 (57)摘要 本发明公开了一种基于计算机视觉的渣土 车未苫盖检测系统及检测方法， 检测系统包括双 模型训练模块、 渣土车检测模块、 渣土车斗区域 检测模块、 渣土车未苫盖判断模块、 风险上报与 记录模块， 以及日志模块； 本发明渣土车检测模 型识别图像中的渣土车， 并通过渣土车斗区域检 测模型对车斗部分进行细分， 计算各部分区域面 积获得渣土的未覆盖率， 若渣土未覆盖率大于给 定的阈值， 则将渣土车判定为未苫盖。 本发明将 目标检测技术与渣土车未苫盖相结合， 采用双模 型划分任务， 并且对车斗部分进行细分， 引入渣 土未覆盖率对判断标准进行量化， 提高识别的准 确性， 大大减少误报率。 保证能够对渣土车辆做 到有效的监管， 减少环境污染和安全隐患。 权利要求书4页 说明书10页 附图1页 CN 115511879 A 2022.12.23 CN 115511879 A 1.一种基于计算机视觉的渣土车未苫盖检测系统， 其特征在于， 包括双模型训练模块、 渣土车检测模块、 渣土车斗区域检测模块、 渣土车未苫盖判断模块、 风险上报与记录模块， 以及日志模块； 所述双模型训练模块负责渣土车检测模型和渣土车斗区域检测模型的训练； 所述视频帧获取模块负责通过轮询算法， 连接对应的摄像头组， 将不同摄像头的视频 流进行运动检测， 若视频画面 运动， 则按照一定时间 间隔抽帧送入推理队列； 所述渣土车检测模块包含渣土车检测模型， 所述渣土车检测模型基于改进 的YOLOv5x 模型， 用于检测图片中的各种车辆， 将检测到的渣土车辆用矩形框框出轮廓， 从原图中分割 发送给渣土车斗区域检测模块； 所述渣土车斗区域检测模块包含渣土车斗区域检测模型， 所述渣土车斗区域检测模型 基于改进的YOLOv5s模型， 对渣土车车斗部分进行检测， 得到渣土区域， 空车斗区域和 毡盖 区域； 所述渣土车未苫盖判断模块负责根据 车斗部分的检测结果计算渣土未覆盖率， 从而判 断渣土车 是否苫盖； 所述风险上报与记录模块负责上传风险信息， 保存风险 图片； 所述日志模块负责记录系统运行当中的错 误和警告信息， 方便后期维护修改。 2.一种基于计算机视觉的渣土车未苫盖检测方法， 采用如权利要求1所述的一种基于 计算机视觉的渣土车 未苫盖检测系统， 其特 征在于， 包括如下步骤： 模型训练阶段： 视频帧获取模块按照一定的时间间隔从视频流中收集图片， 进行初始 标注， 制作初始数据集； 双 模型训练模块利用初始数据集训练渣土车检测模型， 通过训练完 成的渣土车检测模型将图片中的检测类别为渣土车的矩形框分割出来单独保存， 组成渣土 车斗区域检测模型的数据集； 然后双模型训练模块利用渣土车斗区域检测模型的数据集训 练渣土车斗区域检测模型； 检测阶段： 视频帧获取模块按照一定的时间间隔从待检测的视频流中收集图片， 输入 到训练后的渣土车检测模块中， 通过渣土车检测模型检测图片中出现的渣土车， 并把轮廓 用矩形框框出， 将矩形框框出 的渣土车从原图中分割 出来并传给渣土车斗区域检测模块， 渣土车斗区域检测模 型检测渣土车的车斗区域， 将车斗区域分成三个区域： 渣土部 分、 空车 斗部分和毡盖部分， 对应检测的三个类别； 渣土车未苫盖判断模块根据车斗部分的检测结 果计算三个区域的面积， 求得该渣土车的渣土未覆盖率， 若渣土未覆盖率大于设定阈值， 则 认定该渣土车未苫盖； 反之， 则苫盖； 风险上报与记录模块将未苫盖的渣土车的图片信息和 检测车斗结果保存。 3.根据权利要求2所述的一种基于计算机视觉的渣土车未苫盖检测方法， 其特征在于， 模型训练阶段， 渣土车检测模型的训练如下： (1)从给定车流量较大路段的摄像头 中， 按照一定的时间间隔抽帧保存视频帧， 筛选含 有渣土车的图片； (2)对图片中的车辆进行标注， 得到m个基准框σi(xi,yi,wi,hi,li)， 其中， i＝1,2,..., m， xi,yi,wi,hi,li五个分量分别为基准框左上角的横坐标、 纵坐标， 基准框的宽度、 高度， 以 及标签， 标签li＝0表示渣土车， li＝1表示大型货车， li＝2表示厢式货车， li＝3表示小型开 放式货车， li＝4表示汽车， li＝5表示公交车， li＝6表示油罐车和混凝土车， li＝7表示其他权　利　要　求　书 1/4 页 2 CN 115511879 A 2车辆， 包括挖掘机、 平板车、 装载动物的货车； (3)对标注后的图片进行平 移和旋转缩放 来增加数据集； (4)采用Mosaic进行 数据增强； (5)自适应锚框计算； (6)自适应图片缩放； (7)采用YOLOV5x网络进行训练， 对检测出的车辆目标， 用矩形实线框标出， 构造二元交 叉熵损失， 包括 边界框回归损失、 置信度预测损失和类别预测损失三部分， 进行反向传播。 4.根据权利要求2所述的一种基于计算机视觉的渣土车未苫盖检测方法， 其特征在于， 模型训练阶段， 渣土车斗区域检测模型的训练如下： (1)通过训练完成的渣土车检测模型将图片中的检测类别为渣土车的矩形框分割出来 单独保存， 组成渣土车斗区域检测模型的数据集； (2)对图片中的车斗部分进行标注， 得到n个基准框ρi(xi,yi,wi,hi,ti)， 其中， i＝1, 2,...,n， xi,yi,wi,hi,ti五个分量分别为基 准框左上角的横坐 标、 纵坐标， 基准框的宽度、 高 度， 以及标签； 标签ti＝0表示渣土 部分， ti＝1表示苫盖部分， ti＝2表示空车斗 部分； (3)对标注后的图片进行平 移和旋转缩放 来增加数据集； (4)采用Mosaic进行 数据增强； (5)自适应锚框计算； (6)自适应图片缩放； (7)采用YOLOv5s网络进行训练， 对检测出的渣土部分、 苫盖部分和空车斗部分， 用矩形 实线框标出， 构 造二元交叉熵损失， 包括边界框回归损失、 置信度预测损失和类别预测损失 三部分， 进行反向传播。 5.根据权利要求2所述的一种基于计算机视觉的渣土车未苫盖检测方法， 其特征在于， 所述视频帧获取模块根据配置文件的信息加载摄像头信息， 基于RTSP协议， 通过设定的轮 询算法， 连接相应的摄 像头组； 对连接成功的摄 像头取流， 通过三帧差法进行运动检测； 对通过运动检测部分的视频流按照一定的时间间隔进行取帧， 同时为每个视频帧附上 唯一的时间戳， 将视频帧、 时间戳和摄像头图片队列打包成元素； 当元素数量满足一个 batch后， 将一个batch的元素交由渣土车检测模块进行推理， 当超过给定的时间阈值后仍 未满足batc h数量， 系统会将剩余元 素强制推送给渣土车检测模块。 6.根据权利要求2所述的一种基于计算机视觉的渣土车未苫盖检测方法， 其特征在于， 所述渣土车检测模块的检测过程如下： (1)将图片送入渣土车检测模型进行推理， 得到预测图片的结果， n个预测框分别为 其中， zi为预测的类别， zi＝0为渣土车， zi＝1为大型货 车， zi＝2厢式货车， zi＝3为小型开放 式货车， zi＝4为汽车， zi＝5为公交车， zi＝6油罐车和 混凝土车， zi＝7为其他车辆， 包括挖掘机、 平板车和装载动物的货车； p 为预测类别的概率， 0<p<1； (2)计算任意两个预测框的交并比 两个预测框的交集部分：权　利　要　求　书 2/4 页 3 CN 115511879 A 3