(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211486625.4 (22)申请日 2022.11.25 (71)申请人 常熟理工学院 地址 215500 江苏省苏州市 常熟市南 三环 路99号 (72)发明人 张贵阳　徐本连　吉思雨　刘琪　 陆婷　张福生　任勇　翟树峰　 朱玲羽　王绵绵　 (74)专利代理 机构 常州佰业腾飞专利代理事务 所(普通合伙) 32231 专利代理师 任珊珊 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习的电梯人流视觉统计方法、 系 统及存储介质 (57)摘要 本发明公开了基于深度学习的电梯人流视 觉统计方法、 系统及存储介质， 包括： 使用注意力 机制对YOLOv5神经网络模型进行改进， 将带有残 差结构的网络模块CST替换YOLOv5  backbone中 的CSP模块， 使用CSA模 块替代YOLOv5神经网络模 型中特征融合部分的CSP模块； 通过改进的 YOLOv5神经网络模型对图像进行检测， 将当前图 像标记为首帧； 如果检测到目标， 将检测到的目 标信息传递给目标跟踪器， 对图像动态跟踪， 并 选择帧中的一帧进行识别统计； 如果跟踪失败或 完成图像跟踪， 则重新检测， 同时测量目标深度 改善对遮挡目标的检测。 本发明保证了电梯内成 员数量统计的准确性， 特别是增强了对小目标的 检测能力。 权利要求书5页 说明书17页 附图8页 CN 115546734 A 2022.12.30 CN 115546734 A 1.一种基于深度学习的电梯人流视 觉统计方法， 其特 征在于， 包括以下步骤： S01： 使用注意力机制对YOLOv5神经网络模型进行改进， 将带有残差结构的网络模块 CST替换YOLOv5  backbone中的CSP 模块， 使用CSA模块替代YOLOv5神经网络模型中特征融合 部分的CS P模块， 得到改进的YOLO ‑EL神经网络模型； S02： 通过改进的YOLO ‑EL神经网络模型对图像进行检测， 将当前图像标记为首帧； S03： 如果检测到目标， 将检测到的目标信息传递给目标跟踪器， 对图像动态跟踪， 并选 择FN帧中的一帧进行识别统计， 忽略其他帧； 如果跟踪失败或完成 N帧图像的跟踪， 重新对 图像进行检测。 2.根据权利要求1所述的基于深度学习的电梯人流视觉统计方法， 其特征在于， 所述步 骤S01中CST模块包括第一卷积层、 第二卷积层、 第三卷积层和 Transformer层， 第一卷积层 和第二卷积层用于接收上层网络的输出， 第一卷积层的输出用作Transformer层的输入， 第 二卷积层作为残差结构， 其输出端与Transformer层的输出进行拼接， 得到的结构输入第三 个卷积层中进行 处理； 所述Transformer层中数据首先进入扁平 化层， 经过处理后由多维转 换为1维， 然后经归一化层进 行归一化处理， 随后经过多头注意力 层的处理后再次进 行归一 化运算， 最后通过多层感知机进行处 理。 3.根据权利要求1所述的基于深度学习的电梯人流视觉统计方法， 其特征在于， 所述步 骤S01中CSA模块包括第四卷积层、 第五卷积层、 第六卷积层、 第七卷积层、 注意力层和 BottleNeck层， 其中BottleNeck层为1 ×1的卷积运算， 用于减少网络参数数量； 所述第四卷 积层、 第五卷积层用于接收上层网络的输出， 所述第四卷积层的输出用作注意力 层的输入， 注意力层的输出经过第 六卷积层的处理后， 其结果输入BottleNeck层， 经BottleNeck层处 理后与该第六卷积层的输出进行拼接， 拼接结果与第 五卷积层的结果继续拼接， 所述第 五 卷积层构成残差结构， 得到的结果 通过第七卷积层进行处 理得到最后的结果。 4.根据权利要求1所述的基于深度学习的电梯人流视觉统计方法， 其特征在于， 所述步 骤S03中跟踪器的建立包括： 构建KCF跟踪器， 通过使用轮转矩阵生成样本， 训练一个判别式分类器， 引入循环矩阵， 采用快速傅里叶变换对KCF算法进行加速计算； 训练KCF跟踪器， 找到一个非线性映射函数 使映射后的结果在线性空间下 是可分的， 即找到一个回归函数 ， 给定样本 和对应的标 签 ， 为目标模板， 目标 是优化最大平方和误差； 使用高斯核函数对跟踪器进行训练。 5.根据权利要求4所述的基于深度学习的电梯人流视觉统计方法， 其特征在于， 所述训 练KCF跟踪器的方法包括以下步骤： 由训练样本的非线性变换 的线性组合构成： (16)权　利　要　求　书 1/5 页 2 CN 115546734 A 2其中， 为权重参数， 为样本， 此时 实际为所有样本的加权平均， 新样本的 预测值为： (17) 记 称为核函数， 得： (18) 其中， 、 、 为样本数量， 为权重参数构成 的向量， 中的第t个元素为训练样本 和测试样本 的核函数值； 使用线性 函数的优化方法求 解 ： (19) 其中， 是所有训练样本的核相关矩阵， ， 为单位矩阵， 为正则项系数， 为 对应的目标值， 为 的集合； 使用高斯核函数对跟踪器进行训练： 记循环矩阵 的初始向量 为 ， 经傅里叶变换后值 为 ， 根据式(19)可 得： (20) 经傅里叶变换 得： (21) 化简后得：权　利　要　求　书 2/5 页 3 CN 115546734 A 3