(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211358758.3 (22)申请日 2022.11.01 (71)申请人 深圳市天双科技有限公司 地址 518000 广东省深圳市南 山区丽山路 桃源街道桑泰大厦6 03室 (72)发明人 唐忠林　韦赛　 (74)专利代理 机构 深圳市千纳专利代理有限公 司 44218 专利代理师 刘国童 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于通道剪枝yo lov5s的检测行 人方法 (57)摘要 本发明是一种基于通道剪枝yolov5s的检测 行人方法， 所述的方法包括如下步骤： 解开网络 融合层、 稀疏化训练模型、 模型剪枝、 微调训练、 目标模型， 涉及计算机视觉算法的相关领域。 目 的目的是在于解决现有针对yolov5s的5.0版本 的剪枝， 减少神经网络参数的同时对神经网络进 行加速推理， 让yolov5算法能在低算力的平台上 达到加速推理效果， 而提供一种基于通道剪枝 yolov5s的检测行 人方法。 权利要求书1页 说明书5页 附图3页 CN 115527086 A 2022.12.27 CN 115527086 A 1.一种基于通道剪枝yolov5s的检测行人方法， 其特征在于， 所述的方法包括如下步 骤： 1.1、 解开网络融合层； 1.2、 稀疏化训练模型： 1.3、 模型剪枝； 1.4、 微调训练； 1.5、 目标模型。 2.根据权利要求1所述的基于通道剪枝yolov5s的检测行人方法， 其特征在于： 所述的 解开网络融合层是指， 把神经网络中BN和Conv的融合层解开， 获取单独的bn层， 作为后续操 作的目标。 3.根据权利要求1所述的基于通道剪枝yolov5s的检测行人方法， 其特征在于： 所述的 稀疏化训练模 型是指， 在训练过程中 向网络中的BN层添加L1正则， 进行约束BN层系数， 使系 数稀疏化， 虚线表示多次迭代。 4.根据权利要求3所述的基于通道剪枝yolov5s的检测行人方法， 其特征在于， 添加L1 正则的步骤如下： 4.1、 首先是尺度因子与稀疏性惩罚， 在通道相 关的缩放因子上施加简单的L1稀疏； 为 每个通道引入一个缩放因子γ， 它乘以该通道的输出， 使其稀疏化， 计算方式如下： 其中(x,y)表示训练输入和目标， W表示可训练权重， 第一个和项对应于CNN的正常训练 损失， g(γ)是缩放因子上的稀疏诱 导惩罚， λ平衡了这两个项； 4.2、 其次是利用BN层中的缩放因子， BN层使用小批统计数据规范内部激活。 设Zin和 Zout是BN层 B的输入和输出， B表示当前的小批， BN层进行以下转换: 其中， μB和σ B 是输入激活比B的均 值和标准差值， γ和β 是可训练的仿射变换参数(尺度 和位移)。 5.根据权利要求1所述的基于通道剪枝yolov5s的检测行人方法， 其特征在于： 所述的 模型剪枝在通道稀疏诱 导正则化下进行训练后， 得到 了一个许多尺度因子 接近零的模型。 6.根据权利要求1所述的基于通道剪枝yolov5s的检测行人方法， 其特征在于： 所述微 调训练是在加载剪枝得到的紧凑的模型后， 训练模型步骤基本的原生的模型没有任何区 别， 训练完成后所保存下来的模型就是我们的目标模型了 。权　利　要　求　书 1/1 页 2 CN 115527086 A 2一种基于通道剪枝yo lov5s的检测行人方 法 技术领域 [0001]本发明涉及一种涉及计算机视觉算法的相关领域， 特别是一种基于通道剪枝 yolov5s(单阶段目标检测算法)的检测行 人方法。 背景技术 [0002]近些年， 随着人工智能浪潮的兴起， AI算法得到了迅猛的发展， 随着算法在不断的 优化， yolo(目标检测)算法所产出的模型的参数和 体积也越来越大， 导致部署到硬件上的 模型并没有达到预期 中的状态， 在低算力的硬件芯片上难以达到实时检测或识别的效果， 对算法的应用带来了极大的影响。 [0003]为了解决这些问题， 当前主要的方法是通过对算法进行量化的方式对神经网络进 行压缩。 针对torch的量化又分为训练后量化(ptq)和感知训练量化(qat)， 该方法的缺点主 要有三个方面， 首先是qat对资源的占用非常大而且耗时， ptq得到的模型和原始模型对比 精度下降比较大， 具体表现在实际应用上检测的效果比较差， 其次是不管是ptq还是qat， 会 存在某些平台上不支持其中某些算子的问题， 给部署阶段带来较大 的难度。 最后是代价高 昂， 需要为图像学习配备性能较高的显卡。 [0004]另一类方法是通过对神经网络进行剪枝的方式， 该方法主要有两个缺点。 首先是 剪枝时候不好把控剪枝率， 对于置信度高的特征和置信度低的特征难以把控容易造成误 剪。 其次是剪枝后出现的精度掉 落严重的问题。 [0005]本发明主 要针对现存技 术中的以下几个缺陷提出： [0006]1、 模型参数量大的问题。 现在的yolov5(单阶段目标检测算法)大多都是直接训练 出模型导出对应的onnx后移植到平台上， 用对应平台工具进行量化部署。 量化过后的模型 确实也起到了加 速效果， 其体积也缩小为fp32模型大小的1/4， 其方式是大多数的做法， 更 甚则是直接使用导出来的onnx进 行部署， 巨大的参数量会导致模型部署成功之后难以达到 实时检测的效果。 [0007]2、 剪枝率的把控问题。 如何把控剪枝率让剪枝后的模型达到我们预期的想法一直 是令人头痛的事， 甚至是把整个网络层的通道与参数都剪到零， 过度的剪枝会导致剪枝出 来的模型检测效果 不佳， 而过 轻微的剪枝又难以达 到减少参数量的目的。 [0008]3、 剪枝之后精度损失严重 的问题。 精度与速度一直是我们所追求的目标， 在减少 模型参数的同时确保模型精度不变或者精度损失较少是现有技 术的一大挑战。 [0009]本发明对模型进行量化之外的一种剪枝方式， 首先对yolov5s的5.0版本进行打开 BN和Conv的融合层， 取到单独的BN层， 添加L1正则进行约束BN层系数， 使系数稀疏化， 稀疏 化后的参数符合拉普拉斯分布， 拉普拉斯分布是中间高两边低的一条曲线。 其次再根据参 数在拉普拉斯分布中概率密度的情况进行剪枝， 起到把控剪枝率的效果， 裁剪掉稀疏很小 的层， 对应激活也很小， 所以对与后面的影响也会很小， 起到了确保精度损失在可控范围内 的作用， 根据剪枝得到的模型进行重新训练恢复精度和召回率等模型指标， 如果把没剪枝 之前的模型比作一个完整无暇的人， 那么剪枝过后的模型就相当于是一个残疾人， 其内部说　明　书 1/5 页 3 CN 115527086 A 3