(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211036223.4 (22)申请日 2022.08.27 (71)申请人 南京理工大 学 地址 210094 江苏省南京市孝陵卫20 0号 (72)发明人 韦志辉　孙崇宇　徐洋　吴泽彬　 郑尚东　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 陈鹏 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/74(2022.01)G06T 7/73(2017.01) G06T 7/66(2017.01) G06T 7/60(2017.01) (54)发明名称 基于旋转等变卷积通道注意力增强和多尺 度特征融合的遥感图像目标检测方法 (57)摘要 本发明公开了一种基于旋转等变卷积通道 注意力增强和多尺度特征融合的遥感图像目标 检测方法， 包括： 选取遥感图像输入旋转等变特 征提取网络， 得到输入图像的多层旋转等变特征 图； 将多层特征图输入旋转等变通道注意力增强 模块并进行特征融合， 得到特征增强的旋转等变 多尺度特征图； 对多尺度特征图进行特征目标检 测和分类， 得到特征目标的中心点坐标、 特征目 标的长、 宽及角度， 以及特征目标的类别。 本发明 中设计了旋转等变通道注意力增强的特征融合 模块来克服遥感图像特征提取的困难点， 得到经 通旋转等变道注意力增强和多尺度语义信息融 合后的多尺度特征图， 最后 在特征图上进行目标 检测， 得到最终的检测结果， 适用于遥感图像目 标检测场景。 权利要求书2页 说明书4页 附图4页 CN 115331109 A 2022.11.11 CN 115331109 A 1.一种基于旋转等变卷积通道注意力增强和多尺度特征融合的遥感图像目标检测方 法， 其特征在于， 包括： 步骤S1， 从数据中选取遥感图片作为旋转等变网络的输入， 并得到输入网络的图像的 旋转等变特征图； 步骤S2， 将特征图输入旋转等变通道注意力增强的特征融合模块， 从高层特征图开始 依次与上层增强后的特征图融合， 获取当前层旋转等变通道注意力， 对融合后带有相同方 向信息的特征通道进行相关性建模， 将特征通道注意力按原始特征通道进行重排列， 作用 于融合后的特 征图， 得到经 过旋转等变通道 注意力增强后的特 征图； 步骤S3， 针对步骤S2所得到的特征图进行特征目标检测， 得到特征目标的中心点坐标、 特征目标的长、 宽和角度， 以及特 征目标所属类别。 2.根据权利要求1所述的旋转等变卷积通道注意力增强和多尺度特征融合的遥感 目标 检测方法， 其特 征在于， 步骤S1具体包括如下步骤： 步骤S11， 从数据中选取遥感图片进行预处理， 将预处理后的图片作为旋转等变网络的 输入图像； 步骤S12， 将网络输入的图片进行多次旋转等变卷积提取旋转等变特征， 选取网络输出 的第二、 三、 四、 五层特 征图作为后续输入， 设它 们尺度由大到小分别为F1、 F2、 F3、 F4。 3.根据权利要求2所述的旋转等变卷积通道注意力增强和多尺度特征融合的遥感 目标 检测方法， 其特 征在于， 步骤S2具体包括如下步骤： 步骤S21， 将F4输入旋转等变通道注意力模块中， 利用模块生成该特征图对应的旋转等 变通道注意力记 为a4， 将得到的通道注 意力a4与当前层特征图F4进行Hadamard积， 得到特征 增强后的特 征图F′4； 步骤S22， 从特征图F3到特征图F1， 对当前层特征图Fn的上层增强特征图F ′n+1进行上采 样操作， 使其尺度与当前层特征图相同， 上采样后的上层特征图记 为F″n+1， 将当前层特征图 Fn与上采样后的上层特 征图进行对应 像素相加得到融合后的特 征图An； 步骤S23， 将融合后的特征图An输入旋转等变通道注意力模块中， 利用模块生成该特征 图对应的旋转等变通道注意力记为an， 将得到的通道注意力an与当前层特征图Fn进行 Hadamard积， 得到特征增强后的特征图F ′n， 重复步骤S22与S23多次， 直到得到所有输入特 征图对应加强后的特 征图F′1、 F′2和F′3。 4.根据权利要求3所述的旋转等变卷积通道注意力增强和多尺度特征融合的遥感 目标 检测方法， 其特 征在于， 步骤S21与步骤S23中的旋转 等变通道 注意力生成公式具体为： 其中， Mc(F)表示旋转等变特征图F生成的旋转等变通道注意力， σ表示Sigmoid函数，权　利　要　求　书 1/2 页 2 CN 115331109 A 2表示F的Oi方向特征图生成的通道注意力， 表示带有i方向信息的特征， i∈ (0， 1， ...， O ‑1)， O是旋转等变网络设置的方 向超参数， MLP表示多层感知机， 其层与层之间 是全连接的， AvgPool表示全局平均池化层， 该层以特征图的一层为输入， 以输入 区域内的 平均值作为输出， MaxPool表示全局最大池化层， 该层以特征图的一层为输入， 以输入 区域 的最大值作为输出， ChannelArr表示通道重排列操作， 该操作将每个方向的通道注意力按 照原始特征通道结构进行重排列， 形成与原始特征通道一一对应的通道注意力， 为卷积 计算所涉及的区域， W0表示旋转等变通道注意力操作中的第一层权重， W1表示旋转等变通道 注意力操作中的第二层权重， C表 示旋转等变特征图总的通道维数， r是通道降维的超参数； 表示对F的Oi方向特征图做全局平均池化操作的结果， 表示对F的Oi方向特征图 做全局最大池化操作的结果。 5.根据权利要求3所述的旋转等变卷积通道注意力增强和多尺度特征融合的遥感 目标 检测方法， 其特 征在于， 步骤S2 2中的特征融合过程具体公式为： An＝Fn+F″n+1 F″n+1＝Interpolate(F′n+1， 2) 其中Interpolate为线性插值上采样操作， 该操作通过对相邻像素进行线性插值将特 征图的尺度扩大一 倍。 6.根据权利要求3所述的旋转等变卷积通道注意力增强和多尺度特征融合的遥感 目标 检测方法， 其特征在于， 步骤S21与步骤S23中的旋转等变通道注意力与特征图Hadamard积 过程具体公式为： F′ni＝(an1， ...， anC)⊙(fi1， ...， fiC) F′n＝(F′n1， ...， F′nn) 其中， (an1， ...， anC)为通道注意力an的所有元素， (fi1， ...， fiC)为特征图Fn的第i个像素 位置的向量元 素， F′ni为特征图Fn的第i个像素位置的向量与通道 注意力Hadamard积结果。 7.根据权利要求3所述的旋转等变卷积通道注意力增强和多尺度特征融合的遥感 目标 检测方法， 其特 征在于， 步骤S21中的最高层特 征图生成过程具体公式为： 8.根据权利要求3所述的旋转等变卷积通道注意力增强和多尺度特征融合的遥感 目标 检测方法， 其特 征在于： 步骤S23中的特 征图生成过程具体公式为： 9.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1～8中任一项所 述方法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1～8中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 115331109 A 3