(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211360352.9 (22)申请日 2022.11.01 (71)申请人 安徽南瑞继远电网技 术有限公司 地址 230088 安徽省合肥市高新区科 学大 道90号 申请人 南瑞集团有限公司 (72)发明人 黄文礼　茆骥　葛绍妹　晏雨晴　 陆年生　王柳　 (74)专利代理 机构 合肥国和专利代理事务所 (普通合伙) 34131 专利代理师 张祥骞 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/32(2022.01)G06V 10/20(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多路特征融合及高阶损失感知采 样的单阶段目标检测方法 (57)摘要 本发明提供了一种于多路特征融合及高阶 损失感知采样的单阶段目标检测方法。 通过获取 待检测图像， 并对待检测图像执行预处理； 根据 预先建立的目标检测网络模型对待检测图像执 行检测， 获取初步检测结果； 目标检测 网络模型 基于多路特征金字塔网络执行多路特征融合； 以 及基于高阶损失感知采样机制进行训练； 根据初 步检测结果计算面积交并比以及非极大值抑制， 得到最终的检测结果。 相比于现有技术， 通过利 用提出的多路特征金字塔能够避免低级特征细 节和纹理的丢失获取从而获得更加完整的目标 特征信息； 同时， 利用提出的高阶损失感知采样 机制能够针对于图像中的每个实例自适应的选 出其对应的正样本用于训练， 从而达到更好的目 标检测效果。 权利要求书3页 说明书11页 附图3页 CN 115512207 A 2022.12.23 CN 115512207 A 1.一种基于多路特征融合及高阶损失感知采样的单阶段目标检测方法， 其特征在于， 所述方法包括： 获取待检测图像， 并对所述待检测图像执 行预处理； 根据预先建立的目标检测网络模型对所述待检测图像执行检测， 获取初步检测结果； 所述目标检测网络模型基于多路特征金字塔网络执行多路特征融合； 以及基于高阶损失感 知采样机制进行训练； 根据所述初步检测结果计算 面积交并比以及非极大值抑制， 得到最终的检测结果。 2.根据权利要求1所述的基于多路特征融合及高阶损失感知采样的单阶段目标检测方 法， 其特征在于， 所述对所述待检测图像执 行预处理， 包括： 对所述待检测图像执行像素层面的标准化； 对所述待检测图像执行缩放处理， 缩放至 预定尺寸； 其中， 所述对所述待检测图像执行像素层面的标准化， 包括对于待检测图像任一像素 点执行像素标准化处理： mPixelx＝(mPixelx‑mPixelmean)/mPixelxstd           (1) 其中， mPixelx为待检测图像中的任一像素点像素， mPixelmean为待检测图像的像素均 值， mPixelstd为待检测图像的像素 标准差。 3.根据权利要求1至2任一项所述的基于多路特征融合及高阶损失感知采样的单阶段 目标检测方法， 其特 征在于， 所述方法还 包括： 预先建立目标检测网络模型； 所述预先建立目标检测网络模型， 包括： 获取检测图片的训练集； 对训练集的训练图片和 测试图片进行图片标准 化； 建立深度卷积神经网络以及多路特征金字塔， 利用高阶损 失感知采样机制、 损 失函数 及所述训练集进行训练得到目标检测网络模型。 4.根据权利要求3所述的基于多路特征融合及高阶损失感知采样的单阶段目标检测方 法， 其特征在于， 所述获取检测图片的训练集， 包括： 获取检测图片的训练集， 所述训练集包 括M张训练图片为X＝{X1,X2,…,Xm,…,XM}， 其中 Xm表示第m张训练图片； 所述M张训练图片选取有一一对应的M个标签为Y＝{Y1,Y2,…,Ym,…,YM}， 其中Ym表示第 m张训练图片； 所述M个标签中包括相应图片中的N个目标物体的类别与坐标信息为Ym＝{Pm,1,Bm,1, Pm,2,Bm,2,…,Pm,n,Bm,n,…,Pm,N,Bm,N}， 其中Pm,n表示第m张图片中的第n个目标物体在所属的 类别， 且Pm,n∈{C0,C1,C2,…,Cj,…,CJ}， C表示总的类别， Cj表示第j个类别， C0表示背景类， J 为类别总数， Bm,n表示第m张图片中的第n个物体的坐标， 且Bm,n＝{xmin,ymin,xmax,ymax}， 分别 表示标注 物体的矩形框的左上角顶点 坐标xmin、 ymin、 右下角顶点 坐标xmax、 ymax。 5.根据权利要求3所述的基于多路特征融合及高阶损失感知采样的单阶段目标检测方 法， 所述对训练集的训练图片和 测试图片进行图片标准 化， 包括： 根据预设像素均值和像素 标准差， 将训练集X中的图片进行像素层面的标准 化； 再将训练集X中每 个训练批次的图片进行缩放， 保持图片大小一 致； 训练集X中的图片进行数据增强操作， 其中包括图片亮度与饱和度的随机改变， 图片的权　利　要　求　书 1/3 页 2 CN 115512207 A 2随机水平翻转， 以及图片的随机 裁剪。 6.根据权利要求3所述的基于多路特征融合及高阶损失感知采样的单阶段目标检测方 法， 所述建立深度卷积神经网络以及多路特征金字塔， 利用高阶损失感知 采样机制、 损失函 数及所述训练集进行训练得到目标检测网络模型， 包括： 获取基础特 征提取网络 M及其生成的初始多尺度特 征 在所述基础特征提取网络M及其生成的多尺度特征 的基础上， 构建多路特征金字塔 网络MpFPN并获取其输出的多尺度特 征 在获取了多路特征金字塔MpFPN输出的多尺度特征 后， 首先利用预设的交并比阈值 选出每个实例对应的候选正样本， 然后利用高阶损失感知采样机制HLS自适应的选出每个 实例对应的正样本用于网络训练； 在所述的多路特征金字塔MpFPN和高阶损失感知采样机制HLS的基础上， 对每个实例对 应的正样本进行目标的分类与定位， 得到分类网络 Class subnet与定位网络Box  subnet； 在检测过程中进行损失函数定义； 根据训练集训练获得最终的网络模型。 7.根据权利要求6所述的基于多路特征融合及高阶损失感知采样的单阶段目标检测方 法， 所述获取基础特 征提取网络 M及其生成的初始多尺度特 征 包括： 使用ResNet网络和/或VGG网络作为图片的基础特征提取网络， 其中ResNet网络包括 ResNet50、 ResNet101或ResNet152； VG G网络包括VG G16或VGG19； 根据式(2)对基础特 征提取网络 M进行参数初始化操作； Mweight＝MPweight                   (2) 其中Mweight为基础特征网络 的参数； MP表示基础特征网络M在数据集上的预训练结果， MPweight表示预训练网络的参数。 8.根据权利要求6所述的基于多路特征融合及高阶损失感知采样的单阶段目标检测方 法， 所述构建多路特 征金字塔网络 MpFPN并获取其输出的多尺度特 征 包括： 其中， 为基础特征提取网络构造过程中的初始特征图； 其中i的取值顺序为{3， 4， 5}， Mj为多路特征金字塔构造过程中的中间特征图； 其中j的取值顺序为{4， 5， 6， 7}； 为多路 特征金字塔构造过程中的输出 特征图； 其中k的取值 顺序为{3， 4， 5， 6， 7}。 9.根据权利要求1所述的基于多路特征融合及高阶损失感知采样的单阶段目标检测方 法， 所述根据预先建立的目标检测网络模型对所述待检测图像执行检测， 获取初步检测结 果， 包括： 根据目标检测网络模型对所述待检测图像执行检测， 获取检测结果R＝{R1,R2,…,权　利　要　求　书 2/3 页 3 CN 115512207 A 3