(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211374153.3 (22)申请日 2022.11.03 (71)申请人 安徽理工大 学 地址 232000 安徽省淮南市山 南新区泰丰 大街168号 (72)发明人 徐善永　陈修龙　黄友锐　韩涛　 凌六一　唐超礼　 (74)专利代理 机构 北京同辉知识产权代理事务 所(普通合伙) 11357 专利代理师 张恩慧 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 一种基于YOL Ov4-tiny和FPGA的煤矸石识别 系统 (57)摘要 本发明公开了一种基于YOL Ov4‑tiny和FPGA 的煤矸石识别系统， 系统包括ARM端、 FPGA端、 AXI_M总线和AXI_S总线以及外部存储设备SD卡； ARM端负责读取DDR中的数据、 各个模块初始化、 YOLOv4‑tiny中上采样层计算、 完成整个YOLOv 4‑ tiny算法网络的前向推理和Yolo  Head检测； FPGA端主要完成YOLOv 4‑tiny算法中卷积和池 化 等计算量较大的计算； ARM端和FPGA端 通过AXI_M 总线和AXI_S总线连接； 本发明具有功耗低、 体积 小、 检测速度快的优势， 可 以应用在复杂的煤矿 井下环境。 权利要求书3页 说明书11页 附图6页 CN 115546194 A 2022.12.30 CN 115546194 A 1.一种基于YOLOv4 ‑tiny和FPGA的煤矸石识别系统， 其特征在于， 包括ARM端、 FPGA端、 AXI_M总线和AXI_S总线以及外部存储设备SD卡， 所述SD卡连接ARM端， 所述ARM端和FPGA端 通过AXI_M总线和AXI_S总线连接 。 2.根据权利要求2所述的基于YOLOv4 ‑tiny和FPGA的煤矸石识别系统， 其特征在于， 所 述ARM端包括： DDR， 与DDR控制器以及SD卡连接， 用于存储所有交互数据以及算法网络的最终计算结 果数据； DDR控制器， 与DDR连接， 通过AXI_M总线与FPGA连接， 用于控制存储器DDR与AXI总线接 口之间的数据交 互； 以及 ARM芯片， 与DDR控制器连接， 通过AXI_M总线与FPGA端连接， 用于各个模块初始化、 上采 样层、 YOLO检测后处 理工作以及完成整个YOLOv4 ‑tiny算法网络的前向推理。 3.根据权利要求2所述的基于YOLOv4 ‑tiny和FPGA的煤矸石识别系统， 其特征在于， 所 述FPGA端包括BRAM、 数据输入模块、 数据输出模块、 权重数据、 输入图像数据、 卷积IP核、 池 化IP核、 输出缓存以及控制寄存器， 所述BRAM连接AXI_S总线与ARM端进行数据交互， 所述数 据输入模块连接BRAM、 权重数据和 输入图像数据， 所述权重数据连接数据输入模块和卷积 IP核， 所述输入图像数据连接卷积IP核和池化IP核， 所述卷积IP核和池化IP核连接输出缓 存， 所述数据输出模块连接BRAM， 所述控制寄存器连接FPGA端所有模块。 4.权利要求3所述的基于YOLOv4 ‑tiny和FP GA的煤矸石识别系统的识别方法， 其特征在 于， 包括以下步骤： 步骤S1： 拍摄煤矸石图像并制作煤矸石数据集， 并使用煤矸石数据集在电脑端训练 YOLOv4‑tiny模型权 重； 步骤S2： 使用BN层和卷积层融合、 16位定点数量化方法缩减所述YOLOv4 ‑tiny模型大 小； 步骤S3： 设计卷积IP核和池化IP核来加速YOLOv4 ‑tiny模型中卷积和池化计算并完成 卷积后的激活函数计算， 其中在IP核设计中使用流水线运算优化、 乒乓操作以及输入输出 通道并行计算 三种优化方法来 提高FPGA资源利用率和提升计算效率； 步骤S4： 将待识别的煤矸石图像和YOLOv4 ‑tiny模型权重存入SD卡， 并由DDR读取图像 和权重数据； 步骤S5： BRAM通过AXI总线与D DR进行数据交互， 读取计算所需要的图像和权 重数据； 步骤S6： 卷积IP核和池化IP核通过数据输入模块读取权重数据和图像数据并完成 YOLOv4‑tiny中的卷积和池化计算， 然后卷积和池化计算结果再存 入输出缓存； 步骤S7： BRAM通过数据输出模块读取步骤S6中的计算结果， 并通过AXI总线写回到DDR 中； 步骤S8： ARM芯片连接DDR控制器， 负责读取DDR中的数据、 各个模块初始化、 YOLOv4 ‑ tiny中上采样层、 完成整个YOLOv4 ‑tiny算法网络的前向推理和Yolo  Head检测， 并完成煤 矸石图像的识别； 步骤S9： 将煤矸石图像的识别结果存 入DDR， 最后再存回外 部存储设备SD卡。 5.根据权利要求4所述的基于YOLOv4 ‑tiny和FPGA的煤矸石识别系统的识别方法， 其特 征在于， 所述BN层和卷积层的融合过程如下：权　利　要　求　书 1/3 页 2 CN 115546194 A 2所述BN层用于解决深度 卷积神经网络在网络加深过程中出现的训练困难、 收敛速度慢 的问题； 所述卷积层卷积的过程就是将卷积核作为滑动 窗口在对应的输入特征图上进行滑窗 计算， 其计算过程的输出式为： 其中， ， 为第j层的第k个输出特征图， 为第j层中第k组卷积核的第i个卷积核权重 值， 为第j层特 征层中第i个输入通道的特 征图参数， C是输入通道数， b为偏置； 特征图的均值公式(2)和方差公式(3)为： 其中， 为第j层的第k个输出特征图， m为特征图所有元素的个数， μ和 δ为 的均值和 方差； 通过均值和方差得到 输出特征图 的归一化公式(4)为： 其中， ε是为了防止分母为 零而加的极小值； 引入缩放变量γ和平移变量β， γ和β 是在模型训练中得到的， 最后得到处理后的卷积 计算结果公式(5) 综合以上公式得到最后的卷积计算公式(6) 以上过程即为BN层和卷积层的融合。 6.根据权利要求4所述的基于YOLOv4 ‑tiny和FPGA的煤矸石识别系统的识别方法， 其特 征在于， 所述16位定点数量化用于对YOLOv4 ‑tiny算法模型中的权重值、 偏置以及输入输出 特征图中的参数进行量化， 定点量化后的数据最高位为符号位， 小数部分位数占f位， 整数 部分位数占(15 ‑f)位， 则量 化后的16为定点数计算公式(7)为： 其中， Bi表示16位定点数的第i 位。 7.根据权利要求4所述的基于YOLOv4 ‑tiny和FPGA的煤矸石识别系统的识别方法， 其特 征在于， 所述激活函数为 Leaky ReLU， 公式为式(8)：权　利　要　求　书 2/3 页 3 CN 115546194 A 3