(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211342007.2 (22)申请日 2022.10.31 (71)申请人 南昌理工学院 地址 330000 江西省南昌市南昌经济技 术 开发区英雄大道 901号 (72)发明人 杨扬　邓荣春　李柯　李睿　胡燚　 周丹　胡荣群　沈克永　 (74)专利代理 机构 南昌合达信知识产权代理事 务所(普通 合伙) 36142 专利代理师 张齐容 (51)Int.Cl. G06V 20/69(2022.01) G06V 10/26(2022.01) G06V 10/30(2022.01) G06V 10/36(2022.01)G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于复杂背景 下的小目标识别系统 (57)摘要 本发明提供一种基于复杂背景下的小目标 识别系统。 一种基于复杂背景下的小目标识别系 统， 包括图片获取模块、 图像增强模块、 图片噪声 过滤模块和目标识别模块。 本发 明通过运用先验 框对特征图进行判断， 当先验框映射的区域内有 目标， 可以直接进行分类， 无需经过 RPN网络进行 复杂的计算， 减少计算 量。 权利要求书2页 说明书6页 附图2页 CN 115410196 A 2022.11.29 CN 115410196 A 1.一种基于复杂背景 下的小目标识别系统， 其特 征在于， 包括： 图片获取模块， 用于采集图片信息， 并将图片信息发送至图像增强模块； 图像增强模块， 用于接收来自图片获取模块的图片信息， 并通过阈值分割技术对图片 信息内的背景进行去除， 并将处 理后的图片信息发送至图片噪声过 滤模块； 图片噪声过滤模块， 用于接收处理后的图片信息， 将处理后的图片信息通过中值滤波 法进行噪声的去除； 目标识别模块， 用于获取降噪后的图片信息， 并对图片中的目标进行 标注和识别; 所述目标识别模块包括神经网络模型存储单元、 神经网络训练单元、 神经网络模型选 取单元、 小目标识别单 元和标注单 元； 所述神经网络模型存储单元用于储存训练好的神经网络模型和神经网络模型模板， 所 述神经网络模型采用Faster ‑RCNN算法， 分为卷积层子模板、 RPN网络、 ROI  Pooling层和分 类层， 其中卷积层子模板以VGG16网络作为基础， 再加上SE模块处理层、 采样层和特征融合 层组成， 其中的VGG16网络去除最后的池化层、 全 连接层和soft ‑max分类层， 此时的VGG16网 络由13个co nv+relu层和4个Po oling层组成； 所述神经网络训练单元用于加载神经网络模型模板， 并根据训练数据集对神经网络模 型模板进行参数训练； 所述神经网络模型选取单元用于响应用户的操作从神经网络模型存储单元中选取对 应的训练好的神经网络模型， 并送入小目标识别单 元； 所述小目标识别单元用于加载训练好的神经网络模型， 并将 获取的图片信 息送入训练 好的神经网络模型， 训练好的神经网络模型对图片信息进行处理， 生成目标类型标签和定 位框坐标； 所述标注单元用于接收定位框坐标， 并根据定位框坐标在图片上进行标注， 标注的内 容包括定位框和目标类型 标签。 2.根据权利要求1所述的一种基于复杂背景下的小目标识别系统， 其特征在于， 训练好 的神经网络模型对图片信息进行处 理的步骤如下： S1： 图片信息经过13个conv+relu层， 对图片进行卷积计算和非线性变换， 卷积核都为 “3×3”， 期间经过4个Pooling层， 通过 “2×2”的滤波器进行 下采样； S2： 选取conv2和conv13层生成的特征图， 分别通过SE模块处理层对特征图进行处理， 生成的特 征图分别记为F1和F2； S3： 特征融合层将F2通过双线性插值进行 上采样， 并与F1进行拼接， 生成特 征图F3； S4： 将特征图F3送入RPN网络， RPN网络根据特 征图F3生成包 含有目标的预测框坐标； S5： ROI Pooling层， 通过将预测框坐标 映射至特征图F3， 并将映射后的区域分成相同 大小的部分， 并对不同部分进行max  pooling， 生成特 征图F4， 并送入分类层； S6： 分类层对目标进行分类， 并生成目标类型 标签和定位框坐标。 3.根据权利要求1所述的一种基于复杂背景下的小目标识别系统， 其特征在于， 还包括 先验框生成模块； 所述先验框生成模块用来根据训练数据集的图片生成 目标存在概率最高的区域， 记为 先验框； 所述先验框生成模块 生成先验框的步骤为：权　利　要　求　书 1/2 页 2 CN 115410196 A 2T1： 训练数据集总图片数为M， 选取一张训练数据集中的图片， 根据其上标注框的坐标 位置， 获取处于标注框内的所有像素点坐标 （xi， yj） ， 并进行存储， 记为集合δ， 其中i=1,2, 3······ I， I为对应图片像素点x坐标的最大值， j=1,2,3 ······ J， J为对应图 片像素点y坐标的最大值， 集合δ中的每个像素点坐标分配一个权重wn， n=1， 2， 3······ N， N为集合 δ 中所有元 素总个数， 记录k=1； T2： 再选取下一张训练数据集中的图片， 根据其上标注框的坐标位置， 依次获取标注框 内的像素点 坐标 （xi， yj） ； T3： 将 （k+1） 赋值给k， 每一次获取像素点坐标 （xi， yj） ， 便遍历整个集合δ与此像素点坐 标进行匹配； 若匹配成功， 将wn+1赋值给匹配成功对应的像素点坐 标的权重 wn； 若匹配失败， 将此像素点 坐标添加至集 合 δ 中， 并对其分配权 重wn； T4： 对k值进行判断， 若 “k≤M”成立， 则回到T2； 若 “k≤M”不成立， 进入T5； T5： 对集合δ 中所有像 素点坐标 （xi， yj） 按权重wn从大到小进行排序， 并选 取权重wn在前e 的像素点 坐标 （xi， yj） ， 记为集合 μ， 其中e为权 重置信度阈值； T6： 选取集合 μ中的所有像 素点坐标 （xi， yj） 中的xi， 并将选取的xi按从大到小进行排列， 再选取其中的最大值xmax和最小值xmin； 选取集合 μ中的所有像素点坐标 （xi， yj） 中的yj， 并将 选取的yj按从大到小进行排列， 再选取其中的最大值ymax和最小值ymin； 以坐标 （xmin， ymin） 和 坐标 （xmax， ymax） 为左下角坐标和右上角坐标， 生成先验框， 先验框以坐标 形式储存。 4.根据权利要求3所述的一种基于复杂背景下的小目标识别系统， 其特征在于， 所述步 骤T2具体包括： T2.1： 再选取下一张训练数据集中的图片， 根据其上标注框的坐标位置， 依次获取标注 框内的像素点 坐标 （xi， yj） ； T2.2： 判断 “k≤0.5M”是否成立， 若 “k≤0.5M”成立， 进入T3； 若“k≤0.5M”不成立， 进入T2.3； T2.3： 计算集合δ 中所有像素坐标点的个数α， 判断 “α ≤A”是否成立， 其 中A为集合δ 中允 许最大的像素坐标点个数， 若 “α ≤A”成立， 进入T3； 若 “α ≤A”不成立， 进入T2.4； T2.4： 对集合δ 中所有像 素点坐标 （xi， yj） 按权重wn从大到小进行排序， 删除权重wn在后f 的像素点 坐标 （xi， yj） ， 进入T3， 其中f为无意 义权重阈值。 5.根据权利要求2所述的一种基于复杂背景下的小目标识别系统， 其特征在于， 所述步 骤S3具体包括如下步骤： S3.1： 特征融合层将F2通过双线性插值进行 上采样， 并与F1进行拼接， 生成特 征图F3； S3.2： 将先验框映射至特征图F3上， 并将映射后选取的区域对应的特征图F5送入基于 CNN的深度学习模型， 判断此区域是否有目标存在， 若有目标存在， 将特征图F5送入分类层， 进入S6； 若无目标存在， 进入S4。 6.根据权利要求1所述的一种基于复杂背景下的小目标识别系统， 其特征在于， 所述图 片获取模块配置为摄 像头， 并且图片获取模块每隔15s采集 一次图片。 7.根据权利要求4所述的一种基于复杂背景下的小目标识别系统， 其特征在于， 所述A 由人为进行设置 。权　利　要　求　书 2/2 页 3 CN 115410196 A 3