(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210669997.4 (22)申请日 2022.06.14 (71)申请人 长三角信息智能创新研究院 地址 241000 安徽省芜湖市智慧城市协同 创新中心 (72)发明人 谢玄　骆文辉　徐徐　 (74)专利代理 机构 北京润平知识产权代理有限 公司 11283 专利代理师 董杰 (51)Int.Cl. G06V 20/52(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 5/50(2006.01) G06T 7/00(2017.01)G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 多尺度感知的泛用型定位计数方法 (57)摘要 本发明公开了一种多尺度感知的泛用型定 位计数方法， 所述方法包括： 步骤1、 获取用于定 数计数的图像数据集， 将数据集划分为训练集与 测试集； 步骤2、 构建多尺度定位计数网络模型； 步骤3、 训练多尺度定位计数网络模型。 本发明能 够对密集遮挡和存在透视畸变的复杂人群场景 实现定位加计数的功能， 还拥有良好的泛用性， 除了人群计数， 还能够在细胞计数、 钢筋 计数、 零 售商品计数等多个应用场景实现高精度、 抗背景 干扰定位计数功能。 权利要求书2页 说明书6页 附图3页 CN 115082853 A 2022.09.20 CN 115082853 A 1.一种多尺度感知的泛用型定位计数 方法， 其特 征在于， 所述方法包括： 步骤1、 获取用于 定数计数的图像数据集， 将数据集划分为训练集与测试集； 步骤2、 构建多尺度定位计数网络模型； 步骤3、 训练多尺度定位计数网络模型。 2.根据权利要求1所述的多尺度感知的泛用型定位计数方法， 其特征在于， 在步骤1中 获取目标场景 的原始图像数据集， 要求待定位计数场景中的目标拥有相 近的图像特征， 每 个场景需要使用对应的数据集进 行训练； 包括： 获取原始图像后使用Mat lab软件进行标注， 生成标注文件； 标注图像中所有目标中心 点在图像中的坐标， 并生 成在.txt或.json格式的 文件中； 其中， 采用7∶ 1.5∶ 1.5的比例将数据集划分为训练集、 验证集和 测试集。 3.根据权利要求1所述的多尺度感知的泛用型定位计数方法， 其特征在于， 步骤2中的 多尺度定位计数网络结构包括特 征提取、 双分支预测、 一对一匹配三个模块。 4.根据权利要求3所述的多尺度感知的泛用型定位计数 方法， 其特 征在于， 步骤2包括： 步骤2.1、 特征提取， 使用在ImageNet上预训练的VGG ‑16网络作为骨干网络提取输入图 像特征； 步骤2.2、 双分支预测， 根据原始图像的大小产生M个锚点， 保证M超过真实值N， 如每个 像素位置产生一个锚点； 通过双分支头分别预测锚点的偏移量和锚点的分类情况； 偏移量 能够让在固定位置生成的锚点产生偏移以预测人头位置， 而分类器用于给出判定预测点为 正例Positive或负例Neg ative的打 分； 将提取出的图像特征生成副本， 分别输入给回归预测头和分类预测头， 分类预测头使 用空洞率为1、 2、 3的三个空洞卷积核提取图像不同尺度特征， 随后将提取出的不同特征进 行特征融合， 最后通过卷积核大小为1的标准卷积生成分类打分集合 回归分支 头最后生成偏移预测点集合 除此以外的结构与分 类预测头结构相同； 步骤2.3、 一对一匹配， 将步骤2.2中生成的偏移位置与分类打分组合生成M个预测点， 与N个真实点集合P＝{pj＝(xj， yj)|j＝1， 2， ...， N}进行匹配， 针对M个预测点， 与N个真实点 生成M×N的代价矩阵D， 生成方式如下 所示， 其中τ 为超参数， 默认 τ ＝0.0 6： 生成代价矩阵D之后通过匈牙利算法确定出N个一对一匹配的点对， 剩余M ‑N个预测点 会被划分为负例， 因此可以将预测点集合 的生成空间重新 划分， 设 是数集{1， 2， ...M}上的一个置换， 使得对于任意i∈[1， N]， 有 与pi相匹配， 即 置换后前N个预测点 为正例， 后M ‑N个点为负例。 5.根据权利要求1所述的多尺度感知的泛用型定位计数 方法， 其特 征在于， 步骤3包括： 步骤3.1、 先对输入图像做随机缩放， 缩放范围为0.7～1.3倍原图大小， 然后随机裁剪 原图1/4大小的图像块， 并以0.5的概 率对图像块进行 水平翻转； 步骤3.2、 使用Adam优化器， StepLR间隔调整学习率， 损失函数L定义如下：权　利　要　求　书 1/2 页 2 CN 115082853 A 2L＝Lc+λ2Ll 其中， Lc代表分类分支 头的损失函数， Ll代表回归分支头的损失函数， λ1、 λ2为超参数， 默 认 λ1＝1， λ2＝0.5； 步骤3.3、 使用训练集训练多尺度定位计数网络模型并记录验证集上的效果， 保存在验证集上收 敛并有最佳效果的模型， 再于测试集中评估， 评估方式采用平均绝对误差MAE及均方根误差 RMSE， 公式表述如下： 其中， K为测试集中图片总数， pred(i)代表单张图片的预测人数， gt(i)代表单张图片 的标签总数， MAE反映网络估计的准确性， RMSE反映估计结果的稳定性。权　利　要　求　书 2/2 页 3 CN 115082853 A 3