(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211053796.8 (22)申请日 2022.08.31 (71)申请人 四川中烟工业有限责任公司 地址 610000 四川省成 都市龙泉驿区国家 成都经济技术开 发区成龙大道龙泉段 2号 (72)发明人 谢光桥　李学敏　黄卓　夏勇　 邹庆元　何宗蔚　巩军　吕波　 曾俊　 (74)专利代理 机构 四川省成 都市天策商标专利 事务所(有限合 伙) 51213 专利代理师 刘银 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/22(2022.01)G06V 10/764(2022.01) G06V 10/34(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习和时空特征融合的烟支外观 检测方法 (57)摘要 本发明公开了一种基于深度学习和时空特 征进行融合的烟支外观检测方法， 包括捕捉烟支 进行180°交换时的若干烟支图像； 对所 获取的烟 支图像进行图像预处理、 多重搜索定位， 并划分 为卷烟纸区域和水松纸区域； 并分别确定烟 支是 否存有缺陷； 利用获取烟支图像的连贯性， 对前 后帧烟支图像的缺陷位置和形状信息进行比对， 引入时空特征， 判断前后帧烟支图像中存在的缺 陷是否为真实缺陷。 本发明通过深度学习和时空 特征大幅提升了烟支外观缺陷检测的准确度， 可 应用于烟支表面图案、 纹理、 字 符和颜色的检测， 能在烟支卷接过程中实时监测烟支的生产质量 情况， 解决了传统检测方法检测精度和速度较 弱， 容易因烟丝飞沫产生 误报的问题。 权利要求书2页 说明书5页 附图1页 CN 115311250 A 2022.11.08 CN 115311250 A 1.基于深度学习和时空特 征融合的烟支外观检测方法， 其特 征在于， 具体步骤 包括： 步骤S100.捕捉烟支进行180 °交换时的若干烟支图像， 以获取烟支图像数据； 步骤S200.对所获取的烟支图像进行图像预处 理； 步骤S300.对预处理后的烟支图像进行多重搜索定位， 将烟支图像分为卷烟纸区域和 水松纸区域； 步骤S400.针对卷烟纸区域建立高低值图像模板， 比对待检烟支图像卷烟纸区域的像 素值是否超过高低值图像模板的变化范围， 确定烟支是否存有缺陷； 步骤S500.针对水松纸区域， 采用基于深度学习的烟支外观检测分类模型进行图像缺 陷类型分类； 步骤S600.利用获取烟支图像的连贯性， 对前后帧烟支图像的缺陷位置和形状信息进 行比对， 引入时空特征， 判断前后帧烟支图像中存在的缺陷是否为真实缺陷， 并输出烟支图 像及缺陷信息 。 2.根据权利要求1所述基于深度学习和时空特征融合的烟支外观检测方法， 其特征在 于， 获取所述烟支图像数据的方法为： 分别 在卷烟机检测轮、 剔除轮安装密封的图像检测组 件， 采集整支烟支3 60°的外表面全部烟支图像。 3.根据权利要求2所述基于深度学习和时空特征融合的烟支外观检测方法， 其特征在 于， 所述图像 检测组件 包括两个相机、 镜 头、 LED光源、 防尘玻璃和气动元件。 4.根据权利要求1所述基于深度学习和时空特征融合的烟支外观检测方法， 其特征在 于， 所述步骤S200中， 进行图像预处 理至少包括平 滑滤波预处 理。 5.根据权利要求1所述基于深度学习和时空特征融合的烟支外观检测方法， 其特征在 于， 所述步骤S400中， 高低值图像模板通过高阈值和低阈值来表示烟支卷烟纸区域灰度值 的变化范围。 6.根据权利要求1所述基于深度学习和时空特征融合的烟支外观检测方法， 其特征在 于， 所述基于深度学习的烟支外观检测分类模型， 具体包括： 一个卷积层、 一个池化层和四 个DwiseResidualBlcok模块， 四个Dwi seResidualBlcok模 块包含两个Dep thwise卷积分支， 其中一个Depthwise卷积分支包含一个大小为5 ×5的Depthwise卷积和一个大小为1 ×1的 普通卷积； 每 个卷积后面都接有一个Batc hNorm层和一个ReLU激活函数。 7.根据权利要求6所述基于深度学习和时空特征融合的烟支外观检测方法， 其特征在 于， 所述步骤S500中， 烟支外观检测分类模型的搭建过程 为： 获取不同类型的烟支水松纸 区域图像作为烟支图像数据集， 对烟支图像数据集中烟支 水松纸区域图像进行缺陷位置和类型 标注、 以及数据增强处 理； 以Resnet18网络模型为基础， 将烟支长宽比设定为1:4， 引入多分尺度卷积核， 通过 DwiseResidualBlcok模块降低模型参数并获得多尺度信息， 以获得改进后的ResNet18网络 模型； 将烟支图像数据集输入改进后的ResNet18网络模型进行训练， 调整初始学习率， 迭代 若干次后对学习率进行调整， 继续迭代直到收敛。 8.根据权利要求2所述基于深度学习和时空特征融合的烟支外观检测方法， 其特征在 于， 所述步骤S 600中， 对 前后帧烟支图像的缺陷位置和形状信息进 行比对， 以判断前后帧烟 支图像中存在的缺陷是否为真实缺陷， 具体判断步骤 包括：权　利　要　求　书 1/2 页 2 CN 115311250 A 21).标记出第一帧烟支图像中所检测出的全部缺陷， 取第一帧烟支图像全部缺陷的几 何中心坐标(x1， y1)和形状信息， 并记录； 2).标记剩余每帧烟支图像所检测的全部缺陷， 取剩余每帧烟支图像全部缺陷的几何 中心坐标(xm， yn)和形状信 息， 并将剩余每帧烟支图像与第 一帧烟支图像作对比， 当几何中 心坐标(x1， y1)与几何中心坐标(xm， yn)存在差异时， 判定存有差异的几何中心坐标所对应 烟支图像位置为非真实缺陷； 3).比对上一帧烟支图像和当前帧烟支图像， 如果上一帧烟支图像和当前帧烟支图像 均在几何中心坐 标(xm， yn)附近检测到缺陷， 且上一帧烟支图像和当前帧烟支图像的缺陷形 状信息相似度较低， 则判断上一帧烟支图像和当前帧烟支图像的缺陷判断为非真实缺陷； 如果上一帧烟支图像和当前帧烟支图像均在几何中心坐 标(xm， yn)检测到缺陷， 且上一帧烟 支图像和当前帧烟支图像的缺陷形状信息相似度较高， 则判断上一帧烟支图像和当前帧烟 支图像的缺陷判断为真实缺陷。权　利　要　求　书 2/2 页 3 CN 115311250 A 3