(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210534058.9 (22)申请日 2022.05.17 (71)申请人 重庆理工大 学 地址 400054 重庆市巴南区红光大道69号 (72)发明人 苟光磊　杨雨　何静　张耀洪　 吕艳娜　朱东旭　 (74)专利代理 机构 重庆晟轩知识产权代理事务 所(普通合伙) 50238 专利代理师 孔玲珑 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01)G06V 10/46(2022.01) G06V 10/77(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种金字塔分离双注意力的少样本细粒度 图像分类方法 (57)摘要 本发明涉及一种金字塔分离双注意力的少 样本细粒度图像分类方法， 包括如下步骤： 选用 数据集D， 从D中随机选取N个图像类别并进行编 号组成支持集和查询集； 将支持集和查询集通过 特征嵌入模块进行学习得到两种集合的特征图； 将两种特征图通过金字塔分离模块得到多尺度 特征图fS和fQ； 将fS和fQ通过双注意力机制得到 重新加权的支持集特征嵌入和查询集特征嵌入； 将Yp中的所有样本分别取类别平均值Ya， 将每个 查询样本分别与Ya在通道维度上进行串联组合 得到样本关系对Yaj； 基于关系相似性度量模型 可以计算得到每个样本关系对的相似性分数 Saj， 分数最高所对应的类别即为该查询样本的 所属类别。 通过使用本方法可以在少样本情况下 对细粒度图像进行精确分类 。 权利要求书3页 说明书10页 附图4页 CN 114792385 A 2022.07.26 CN 114792385 A 1.一种金字塔分离双注意力的少样本细粒度图像分类方法， 其特征在于， 包括如下步 骤： S100： 选取公开细粒度图像数据集D， 从D中所包含 的类别中随机选取N个图像类别， 并 对N个图像类别进行编号， 对于每个图像类别都从D中选取K个同类别的图像样本， 共计N*K 个图像样本； 将数量 为N*K个图像样本作为支持集DS， 表达式如下： 其中， xi表示DS中第i个图像样本， y表示第i个图像样本对应的标签， m表示支持集的图 像样本总量， i ＝1,…,m； 从细粒度图像数据集D中选取数量为N*K ′个图像样本作为查询集DQ， 查询集DQ中的每个 图像样本所属的图像 类别不超过N的数量， 查询集DQ的计算表达式如下： 其中， xj表示DQ中第j个样本图像， yj表示第j个样本图像对应的标签， n表示查询集的图 像样本总量， j＝1, …,n； 支持集DS中的图像样本和查询集DQ中的图像样本 完全不重合； S200： 构建特征嵌入模块， 分别将支持集DS和查询集DQ通过特征嵌入模块进行学习， 得 到支持集特 征图和查询集特 征图； S300： 分别将支持集特征图和查询集特征图利用金字塔分离模块得到支持集多尺度特 征图fS和查询集多尺度特 征图fQ， 具体计算步骤如下： S310： 将支持集特征图在金字塔分离模块所包含的通道维度上被分成S个部分， 表示为 [X1,X2,…,Xp,…,XS]， 其中， 表示第p个特征图； C ′＝C/S表示 公共通道数量； S320： 根据金字塔分离模块所包含的通道数量进行分组， 并计算每个组的支持集多尺 度特征表示， 计算表达式如下： Fp＝(Xp)Conv(kp×kp,Gp),p＝1,2, …,S    (3) 其中， Fp表示第p组的支持集多尺度特征表示， Gp表示第p个组的大小， kp表示第p个卷积 核的大小， Gp的表达式如下： S330： 将计算得到的所有组的支持集多尺度特征表示进行串联， 得到支持集多尺度特 征表示fS， 表达式如下： fS＝Concat([F1,F2,…,Fp,…,FS])；     (5) 利用金字塔分离模块计算得到查询集多尺度特 征表示fQ， 表达式如下： fQ＝Concat([F1,F2,…,Fq,…,FQ])；      (6) 其中， Fq表示第q组的查询集多尺度特 征表示， q＝1,2, …,Q； S400： 构建双注意力模块， 双注意力模块由并行的通道注意力模块和空间注意力模块 组成； S410： 通过通道注意力模 块计算fS的通道注意力特征图Wlc； 通过空间注意力模 块计算fS 的空间注意力特 征图Wls；权　利　要　求　书 1/3 页 2 CN 114792385 A 2S411： 调整fS大小使其适合作为通道注意力模块的输入fS′； S412： 将fS′进行矩阵转置 得到fS″， 将fS′和fS″之间进行矩阵乘法运算， 将矩阵乘法运算 结果作为softmax函数的输入计算 通道注意力图Ac， 表达式如下： 其中， C表示通道数， t表示当前通道维度上原始特征表示的下标， l表示当前通道维度 上原始特征表示转置后的下 标； S413： 计算 通道注意力特 征图Wlc， 计算表达式如下： 其中， α 表示尺度参数； S414： 将fS输入标准的一层卷积函数， 计算得到新的多尺度特征图B和新的多尺度特征 图C； S415： 将新的多尺度特征图B的转置B ′与C之间进行矩阵乘法运算， 将矩阵乘法运算结 果作为softmax函数的输入计算空间注意力图As， 表达式如下： 其中， N表示像素数， t表示当前通道维度上原始特征表示的下标， l表示当前通道维度 上原始特征表示转置后的下 标； S416： 计算空间注意力特 征图Wls， 计算表达式如下： 其中， β 表示尺度参数,Dt表示第t个 像素通过 卷积操作产生的新特 征图。 S420： 将fS的通道注意力特征图和空间注意力 特征图在通道维度上直接进行矩阵叠加 操作， 得到双注意力特 征图dattp； 将fQ的通道注意力特征图和空间注意力 特征图在通道维度上直接进行矩阵叠加操作， 得到双注意力特 征图dattq； S430： 利用si gmoid激活函数计算支持集多尺度双注意力特征嵌入， 此处的支 持集多尺 度双注意力特 征嵌入是指重新加权的支持集特 征嵌入Yp， 计算表达式如下： Yp＝dattp⊙Fp；   (11) 利用sigmoid激活函数计算查询集多尺度双注意力特征嵌入， 此处的查询集多尺度双 注意力特 征嵌入是指重新加权的查询集特 征嵌入Yq， 计算表达式如下： Yq＝dattq⊙Fq  (12) 其中， 符号 ⊙表示通道维度乘法； S500： 将重新加权的支持集特征嵌入Yp中每个类别包含的所有样本分别取平均值Ya， 其 中， a表示图像 类别， a＝1,2, …,N； 重新加权的查询集特征嵌入Yq中所包含的图像样本称为查询样本， 将每个查询样本分 别与Ya在通道维度上进行串联组合， 得到多组查询样本与支持集样本关系对Yaj,其中， a＝ 1,2,…,N； j＝1, …,n； S600： 将Yaj， a＝1,2, …,N； j＝1, …,n输入到关系相似性度量模型中， 计算每个样本关 系对的相似性分数Saj， 其中相似性分数Sqj最高所对应的分类类别即为该查询样本的所属权　利　要　求　书 2/3 页 3 CN 114792385 A 3