(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210972289.8 (22)申请日 2022.08.15 (71)申请人 南京耘瞳科技有限公司 地址 211106 江苏省南京市江宁区双龙 大 道1698号10 03-1005室 (72)发明人 贾佳　 (74)专利代理 机构 南京钟山专利代理有限公司 32252 专利代理师 张力 (51)Int.Cl. G06T 7/00(2017.01) G06T 3/40(2006.01) G06N 3/04(2006.01) G06V 10/44(2022.01) G06V 10/46(2022.01)G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于机器视觉的碳纤维原丝缺陷检测 方法 (57)摘要 本发明公开了一种基于机器视觉的碳纤维 原丝缺陷检测方法， 通过工业机器视觉系统IMVS 中的四个线阵相机进行原丝表面数据正反面图 像的双面采集； 通过空间域的图像拼接方法进行 原丝正反面图像的拼接， 得到拼接图像； 采用基 于路径聚合算法的卷积神经网络 FSCNN提取拼接 图像中的毛丝和并丝缺陷特征， 通过分类与回归 实现缺陷检测。 使用基于高速机器视觉的方法完 成碳纤维原丝数据中细小毛丝缺陷的检测任务， 提高了缺陷检测的精度、 速度和智能化程度， 具 体快速、 高效、 智能的特点。 权利要求书2页 说明书5页 附图2页 CN 115205281 A 2022.10.18 CN 115205281 A 1.一种基于 机器视觉的碳纤维原丝缺陷检测方法， 其特 征在于， 包括： 步骤(1)： 通过工业机器视觉系 统IMVS中的四个线阵相机进行原丝表面数据正反面 图 像的双面采集； 步骤(2)： 通过空间域的图像拼接方法进行原丝正反面图像的拼接， 得到拼接图像； 步骤(3)： 采用基于路径聚合算法的卷积神经网络FSCNN提取拼接图像中的毛丝和并丝 缺陷特征， 通过分类与回归实现缺陷检测。 2.根据权利要求1所述的一种基于机器视觉的碳纤维原丝缺陷检测方法， 其特征在于， 所述工业机器视 觉系统IMVS包括： 光源、 四台线阵相机、 服 务器、 输入/ 输出线路； 其中， 光源为线阵相机提供背向照明和前向照明； 四台线阵相机采用定焦镜头， 并与原丝束做相对匀速运动， 对原丝束正反两面逐行连 续扫描拍摄； 输入/输出线路将线阵相机拍摄图像传输 到服务器； 服务器通过空间域的图像拼接方法进行原丝正反面图像的拼接， 得到拼接 图像， 采用 基于路径聚合算法 的卷积神经网络FSCNN提取拼接图像中的毛丝和并丝缺陷特征， 通过分 类与回归实现缺陷检测。 3.根据权利要求1所述的一种基于机器视觉的碳纤维原丝缺陷检测方法， 其特征在于， 所述工业机器视 觉系统IMVS周围还设有防护屏来屏蔽环境 光。 4.根据权利要求1所述的一种基于机器视觉的碳纤维原丝缺陷检测方法， 其特征在于， 所述步骤(2)具体包括： 步骤(2.1)： 使用opencv创建一个SIFT对象， SIFT对象使用DoG方法检测图像中的关键 点， 并对每个关键点周围的区域计算特征向量， 通过计算不同图像特征点的特征向量的欧 式距离判断不同图像的特 征点是否匹配； 步骤(2.2)： 特征点匹配之后， 将图像按照四个线阵相机顺序排列， 逐步计算两两相邻 线阵相机拍摄的图像的单应性矩阵H， 并光束平差法进 行联合优化， 得到一幅图像相对于另 一幅图像的位置； 步骤(2.3)： 假设线阵相机1、 2进行正面拍摄， 线阵相机3、 4进行反面拍摄， 则通过numpy 数组把线阵相机1拍摄的图像放置最左边， 线阵相 机2拍摄的图像放置次左边， 覆盖掉重叠 部分， 线阵相机3、 4拍摄的图像同样依序排放， 最 终采用动态规划法得到最佳缝合线进 行四 个线阵相机拍摄的原丝正反面 拼接图像； 步骤(2.4)： 对最佳缝合线局部区域 内的若干个像素使用拉普拉斯金字塔融合方法， 将 图像建立一个拉普拉斯金字塔， 金字塔的每一层都包含图像不同的频段， 分频段进行融合 后得到最佳的拼接图像。 5.根据权利要求4所述的一种基于机器视觉的碳纤维原丝缺陷检测方法， 其特征在于， 所述动态规划法即根据图像灰度值或者梯度值来建立误差函数， 从重叠区域的第一行开 始， 计算以该行每一个像素点为起始点的缝合线， 最后 从这些缝合线中选择出误差最小的 作为最佳缝合线进行图像拼接 。 6.根据权利要求1所述的一种基于机器视觉的碳纤维原丝缺陷检测方法， 其特征在于， 所述FSCNN包括卷积层、 基于融合 ‑分裂路径聚合算法的FS模块、 注意力模块、 上采样层、 池 化层、 全连接层；权　利　要　求　书 1/2 页 2 CN 115205281 A 2其中， FS模块中， 将卷积层输出的特征金字塔最高层的两个输入特征映射合并为αs， 将 最低层的两个输入特 征映射合并为αl； 特征合并后， 通过沿通道尺度的串联方式将αs和αl融合， 然后输入可变形卷积滤波器 和 后输出所有层次特征融合后信息的映射特征βs、 βl， 最后将特征图分离 成多尺度 金字塔形式， 得到多尺度输出 特征。权　利　要　求　书 2/2 页 3 CN 115205281 A 3