(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210886244.9 (22)申请日 2022.07.26 (71)申请人 武汉轻工大 学 地址 430000 湖北省武汉市汉口常青花园 学府南路68号 (72)发明人 曾山　康镇　盛钟尹　张超凡　 李皞　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 胥巧莉 (51)Int.Cl. G06V 20/68(2022.01) G06V 20/40(2022.01) G06V 10/26(2022.01) G06V 10/25(2022.01)G06V 10/20(2022.01) G06V 10/40(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 7/246(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 稻米外观自动化提取方法、 装置、 设备及存 储介质 (57)摘要 本发明属于品质检测技术领域， 公开了一种 稻米外观自动化提取方法、 装置、 设备及存储介 质。 该方法包括： 根据视频帧数据， 得到所述视频 帧数据的检测目标与检测目标对应的目标信息； 根据检测目标的目标信息， 得到跟踪目标， 并根 据跟踪目标确定跟踪目标的预测位置信息及标 签信息； 将跟踪目标的预测位置信息与目标信息 中的目标位置信息进行匹配， 得到匹配信息； 根 据匹配信息及标签信息， 确定有效目标； 根据有 效目标对视频帧数据进行图像分割， 得到目标外 观信息； 根据目标外观信息进行检测， 得到检测 结果。 通过上述方式， 能够实时地从视频帧数据 中提取出单颗稻米的外观信息， 提升了稻米外观 的提取效果， 实现了自动化检测， 提高了检测的 效率。 权利要求书3页 说明书14页 附图10页 CN 115311654 A 2022.11.08 CN 115311654 A 1.一种稻米外观自动化提取方法， 其特征在于， 所述稻米外观自动化提取方法应用于 稻米外观自动化提取系统， 所述稻米外观自动化提取系统包括下料器、 电动传送带、 平铺装 置以及图像采集装置， 所述下料器将待检测稻米洒落在所述电动传送带上， 所述平铺装置 用于将所述电动传送带上的待检测稻米平铺， 所述图像采集装置用于对经过所述平铺 装置 平铺后的稻米进行图像采集， 得到所述稻米的视频帧数据； 所述稻米外观自动化 提取方法包括： 根据所述视频帧数据， 得到检测目标与检测目标对应的目标信息； 根据所述检测目标的目标信息， 得到跟踪目标， 并根据所述跟踪目标确定所述跟踪目 标的预测位置信息及标签信息； 将所述跟踪目标的预测位置信 息与所述目标信 息中的目标位置信 息进行匹配， 得到匹 配信息； 根据所述匹配信息及标签信息确定有效目标； 根据所述有效目标对所述视频帧数据进行图像分割， 得到目标外观信息； 根据所述目标外观信息进行检测， 得到检测结果。 2.如权利要求1所述的方法， 其特征在于， 所述根据所述视频帧数据， 得到所述视频帧 数据的检测目标与检测目标对应的目标信息， 包括： 对所述视频帧数据进行数据增强、 自适应锚框及自适应缩放， 得到预处理数据， 所述数 据增强包括外观增强及色域增强， 所述外观增强包括随机缩放与镜像翻转； 对所述预处 理数据进行 特征提取， 得到特 征提取数据； 对所述特征提取数据进行特征融合， 得到特征融合数据， 所述特征融合包括细节信息 特征融合； 对所述特征融合数据进行检测， 得到所述视频帧数据的检测目标与检测目标对应的目 标信息。 3.如权利要求1所述的方法， 其特 征在于， 所述目标信息包括类别 信息和置信度信息； 所述根据所述检测目标的目标信息， 得到跟踪目标， 并根据所述跟踪目标确定所述跟 踪目标的预测位置信息及标签信息， 包括： 根据所述检测目标的类别信息与置信度信息对所述检测目标进行筛选， 得到跟踪目 标； 获取所述跟踪目标的目标位置信息， 根据所述目标位置信息， 确认所述跟踪目标是否 在边界； 若所述跟踪目标不在边界， 则根据所述跟踪目标的目标位置信息， 得到所述跟踪目标 的预测位置信息； 对所述跟踪目标进行 标记， 得到所述跟踪目标的标签信息 。 4.如权利要求3所述的方法， 其特征在于， 所述根据 所述检测目标的类别信 息与置信度 信息对所述检测目标进行筛 选， 得到跟踪目标， 包括： 获取所述检测目标的类别 信息； 在所述类别 信息符合预设类别时， 确认所述类别 信息对应的检测目标 是类别目标； 获取所述类别目标的置信度信息； 在所述置信度信 息符合预设置信度时， 确 认所述与置信度信 息对应的类别目标需要跟权　利　要　求　书 1/3 页 2 CN 115311654 A 2踪， 得到跟踪目标。 5.如权利要求1所述的方法， 其特征在于， 所述将所述跟踪目标的预测位置信 息与所述 目标信息中的目标位置信息进行匹配， 得到匹配信息， 包括： 根据所述跟踪目标的预测位置信息与目标位置信息， 计算信息关联值， 根据所述信息 关联值， 得到跟踪目标中的匹配目标与初步未匹配目标； 获取所述初步未匹配目标的预测位置信息与目标位置信息； 根据所述初步未匹配目标的预测位置信息与目标位置信息， 计算交并比； 在所述交并比大于等于交并比阈值 时， 确定所述初步未匹配目标的预测位置信 息与目 标位置信息匹配， 更新所述跟踪目标中的匹配目标； 在所述交并比小于交并比阈值 时， 确定所述初步未匹配目标的预测位置信 息与目标位 置信息未匹配， 得到所述跟踪目标中的未匹配目标； 根据所述匹配目标与未匹配目标， 得到匹配信息 。 6.如权利要求5所述的方法， 其特征在于， 所述根据 所述跟踪目标的预测位置信 息与目 标位置信息， 计算信息 关联值， 根据所述信息 关联值， 得到跟踪目标中的匹配目标与初步未 匹配目标， 包括： 根据所述跟踪目标的预测位置信息与目标位置信息， 计算马氏距离及最小余弦距离； 根据所述马氏距离及最小余弦距离得到所述跟踪目标的预测位置信息与目标位置信 息之间的信息关联值； 在所述信 息关联值小于关联阈值 时， 确定所述跟踪目标的预测位置信 息与目标位置信 息匹配， 得到所述跟踪目标中的匹配目标； 根据所述匹配目标， 得到所述跟踪目标中的初步未匹配目标。 7.如权利要求1至6中任一项所述的方法， 其特征在于， 所述根据所述匹配信息及标签 信息， 确定有效目标， 包括： 根据所述匹配信息中的匹配目标与未匹配目标， 对所述跟踪目标进行重新标记， 并更 新所述跟踪目标的标签信息； 根据所述更新后的标签信息， 确定有效目标。 8.一种稻米外观自动化 提取装置， 其特 征在于， 所述稻米外观自动化 提取装置包括： 检测模块， 用于根据视频帧数据， 得到所述视频帧数据的检测目标与检测目标对应的 目标信息； 跟踪模块， 用于根据 所述检测目标的目标信 息， 得到跟踪目标， 并根据 所述跟踪目标确 定所述跟踪目标的预测位置信息及标签信息； 匹配模块， 还用于将所述跟踪目标的预测位置信 息与所述目标信 息中的目标位置信 息 进行匹配， 得到匹配信息； 所述匹配模块， 还用于根据所述匹配信息及标签信息， 确定有效目标； 提取模块， 用于根据所述有效目标对所述视频帧数据进行图像分割， 得到目标外观信 息； 所述提取模块， 还用于根据所述目标外观信息进行检测， 得到检测结果。 9.一种稻米外观自动化提取设备， 其特征在于， 所述设备包括： 存储器、 处理器及存储 在所述存储器上并可在所述处理器上运行的稻米外观自动化提取程序， 所述稻米外观自动权　利　要　求　书 2/3 页 3 CN 115311654 A 3