(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210669392.5 (22)申请日 2022.06.14 (71)申请人 中国民航大 学 地址 300300 天津市东 丽区津北公路2898 号 (72)发明人 孙辉　史玉龙　王蕊　 (74)专利代理 机构 北京冠和权律师事务所 11399 专利代理师 赵银萍 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/73(2017.01) (54)发明名称 一种多层级特 征融合的弱监 督检测方法 (57)摘要 本发明提供一种多层级特征融合的弱监督 检测方法， 包括： 获取待分析图片； 将待分析图 片， 输入预设的目标分类模块中， 获取目标分类 模块中Layer1层、 Layer2层、 Layer3层和Layer4 层的特征图； 基于Layer1层、 Layer2层、 Layer 3层 和Layer4层的特征图， 生成对应的类激活图； 将 Layer1层、 Layer2层、 Layer 3层的类激活图融合， 形成前景区域； 基于 前景区域与Layer4层的类激 活图， 对待分析图片中的目标进行定位。 本发明 的多层级特征融合的弱监督检测方法， 通过采用 坐标注意力机制对Resnet 50主干网络进行改进， 用以捕获目标的关键特征， 在提高模 型对目标细 粒度分类性能的同时， 为目标定位器提供计算依 据。 权利要求书4页 说明书11页 附图2页 CN 114913485 A 2022.08.16 CN 114913485 A 1.一种多层级特 征融合的弱监 督检测方法， 其特 征在于， 包括： 获取待分析图片； 将所述待分析图片， 输入预设的目标分类模块中， 获取所述目标分类模块中Layer1层、 Layer2层、 Layer3层和Layer4层的特 征图； 基于所述 Layer1层、 Layer 2层、 Layer3层和Layer4层的特 征图， 生成对应的类激活图； 将所述Layer1层、 Layer 2层、 Layer3层的类激活图融合， 形成前 景区域； 基于所述前景区域与所述Layer4层的类激活图， 对所述待分析图片中的目标进行定 位。 2.如权利要求1所述的多层级特征融合的弱监督检测方法， 其特征在于， 所述目标分类 模块， 包括： 采用Resnet5 0网络作为主干； 在池化层对给定的输入按水平坐标和 垂直坐标对每个通道进行编码， 得到方向感知特 征图， 对坐标信息进行嵌入； 将提取的方向信息进行拼接， 利用1 ×1卷积对信息进行转化， 再沿着空间维度分解为 两个单独的张量， 并使用1 ×1卷积使其具有相同的通道数， 生成坐标信息掩码作为注意力 权重， 将注意力权 重与输入向量进行 逐像素的乘法作为输出 结果。 3.如权利要求1所述的多层级特征融合的弱监督检测方法， 其特征在于， 所述目标分类 模块事先采用数据集进行训练收敛获得； 其中， 所述数据集 通过如下步骤构建： 根据机场附近常见的目标的种类， 使用目标类别标签及边框注释制作数据集。 4.如权利要求1所述的多层级特征融合的弱监督检测方法， 其特征在于， 所述目标分类 模块在训练时， 采用联合损失函数指导训练； 所述联合损失函数如下： L＝Lce+λLbp； 式中， L表示所述联合损失函数； Lce表示交叉熵损失函数； Lbp表示感知损失函数； λ表示 预设的控制感知损失函数权 重的超参数； 所述感知损失函数如下： 式中， N表示图片样本的数量； MFA表示类激活图融合过程中的类激活掩码； MHR表示目标 分类模块 最后一层卷积层所有特 征相应生成的激活掩码； 所述交叉熵损失函数如下： 式中， g标示类别； G表示类别总数； ujg表示符号函数， 当图片样本j的真实类别等于g， ujg ＝1； 否则， ujg＝0； vjg表示图片样本j属于类别g的概 率。 5.如权利要求1所述的多层级特征融合的弱监督检测方法， 其特征在于， 基于所述 Layer1层的特 征图， 生成对应的类激活图， 包括：权　利　要　求　书 1/4 页 2 CN 114913485 A 2所述类激活图的计算 步骤如下： 式中， 表示Layer1层的特征图对应的类激活图； Ak表示Layer1层的第k个特征图； 表示利用对比层级相关性传播理论反向传递获取的Layer1层的第k个特征图 中位置(x,y)关于目标类别c的贡献， 表示Layer1层的第k个特征图Ak关于目标类别c 的通道级权 重。 6.如权利要求5所述的多层级特征融合的弱监督检测方法， 其特征在于， 利用对比层级 相关性传播理论反向传递获取的Layer1层的第k个特征图中位置(x,y)关于目标类别c的贡 献， 包括： 利用对比层级相关性传播获取 特征图中每 个位置对目标分类决策的贡献； 其中， 对比层级相关性传播， 包括： 初始化softmax操作前的网络输出值用于区分目标类别神经元和非目标类别神经元的 比例， 并作为对比层级相关性反向传播的起 点， 所述初始化 函数计算 步骤如下： 式中， 表示Softmax操作之前第l层中第i个神经元对应的分值， P表示第l层中神经 元的总个数； 在对比层级相关性反向传递阶段， 从网络的输出层一直分解到输入空间的每个变量 上， 从而度量每 个变量和网络决策之间的相关性分数； 常用的层级相关性传播 规则是z+和zβ规则， 其定义如下 所示： 式中， 和 分别表示连接第l和第l+1层神经元的正、 负权值； [U,V]表示神经 元激活值的取值区间。 7.如权利要求6所述的多层级特征融合的弱监督检测方法， 其特征在于， 在确定相关性 分数时， 还对其进 行标准化， 将所述相关性分数的取值固定在区间[0～1]之间； 标准化计算权　利　要　求　书 2/4 页 3 CN 114913485 A 3