(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210733595.6 (22)申请日 2022.06.27 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 王先知　许洁斌　艾浩然　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 郑秋松 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06F 16/55(2019.01) G06F 16/583(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于特征金字塔和特征融合的小样本图像 分类方法及系统 (57)摘要 本发明公开了一种基于特征金字塔和特征 融合的小样本图像分类方法， 包括以下步骤： S1. 构建特征金字塔 关系网络模型， 模 型包括特征提 取模块、 关系模块和特征融合模块； S2.对数据集 进行扩充， 将数据集划分为训练集、 验证集、 测试 集； S3.训练模型， 从训练集中采样支撑集与查询 集； S4.输入支 撑集图像和查询集图像， 特征提取 模块提取图像的特征， 并输出图像的特征向量， 特征融合模块融合特征向量； S5.将特征向量输 入关系模块， 关系模块输出支撑集图像和查询集 图像的相似分值， 将所有相似分值进行处理， 获 得最终的相似分值； S6.计算模型的损失， 并更新 模型的参数， 重复迭代训练， 直至损失的误差值 趋于稳定； S7.保存训练好的模型， 将 模型用于小 样本图像分类测试。 权利要求书2页 说明书7页 附图4页 CN 115272692 A 2022.11.01 CN 115272692 A 1.一种基于特征金字塔和特征融合的小样本图像分类方法， 其特征在于， 包括以下步 骤： S1.构建多层神经网络的特征金字塔关系网络模型， 每层神经网络包括特征提取模块、 关系模块和特 征融合模块； S2.获取数据集并对数据集进行扩充， 将经过扩充后的数据集划分为训练集、 验证集、 测试集； S3.采用C ‑way K‑shot方式训练特征金字塔关系网络模型， 每次训练分别从训练集采 样支撑集与查询集； S4.输入支撑集图像和查询集图像， 特征提取模块提取图像的特征， 并输出图像的特征 向量， 特征融合模块融合支撑集图像和查询集图像的特 征向量； S5.将融合后的特征向量输入关系模块， 关系模块输出支撑集图像和查询集图像的相 似分值， 将所有关系模块输出的相似分值进行处 理， 获得最终的相似分值； S6.计算特征金字塔关系网络模型的损失， 并更新特征金字塔关系网络模型的参数， 重 复迭代训练， 直至损失的误差值趋 于稳定； S7.保存训练好的特征金字塔关系网络模型， 将特征金字塔关系网络模型用于小样本 图像分类测试。 2.如权利要求1的基于特征金字塔和特征融合的小样本图像分类方法， 其特征在于， 特 征融合模块包括特 征融合项， 特 征融合项为： C′(FS， FQ)＝Concate(FS， FQ， Mul(FS， FQ)) 式中， FS表示查询集图像的特征向量， FQ表示支撑集图像的特征向量， Concate( ·，·) 表示在特 征通道进行拼接的操作， Mul( ·，·)运算表示将特 征图按位置对应元 素相乘。 3.如权利要求1的基于特征金字塔和特征融合的小样本图像分类方法， 其特征在于， 步 骤S6中， 将一组图像的相似性分值视为回归任务， 采用均方误差MS E函数作为每层神经网络 的损失函数， 均方误差 MSE函数为： MSE(r， yS， yQ)＝(r‑1(yS＝＝yQ))2 式中， r表示每层神经 网络输出的相似性分数， yS表示支撑集图像的标签， yQ表示查询集 图像的标签。 4.如权利要求3的基于特征金字塔和特征融合的小样本图像分类方法， 其特征在于， 步 骤S6中， 利用损失函数计算特 征金字塔关系网络模型的损失， 损失函数为： 式中， rl表示第l层神经网络输出的相似性分值， yS表示支撑集图像的标签， yQ表示查询 集图像的标签， MSE表示均方误差函数， n表示神经网络的层数。 5.如权利要求1的基于特征金字塔和特征融合的小样本图像分类方法， 其特征在于， 步 骤S2中， 将获取的数据集 通过旋转 来进行扩充， 旋转角度为90度、 180度、 270度。 6.如权利要求1的基于特征金字塔和特征融合的小样本图像分类方法， 其特征在于， 特 征金字塔 关系网络模型中， 关系模块最后的全连接层的激活函数使用Sigmoid函数， 其他所 有的激活函数都使用ReLU函数。权　利　要　求　书 1/2 页 2 CN 115272692 A 27.一种基于特 征金字塔和特 征融合的小样本图像分类系统， 其特 征在于， 包括： 特征提取模块， 用于提取输入图像的特 征； 特征融合模块， 用于将输入图像的特 征进行融合； 关系模块， 用于判别输入的支撑集图像特 征和查询集图像特 征的相似度。 8.如权利要求7的基于特征金字塔和特征融合的小样本图像分类系统， 其特征在于， 特 征提取模块包括四个卷积块和两个2*2的最大池化层， 卷积块、 最大池化层、 卷积块、 最大池 化层、 卷积块、 卷积块依次连接 。 9.如权利要求7的基于特征金字塔和特征融合的小样本图像分类系统， 其特征在于， 关 系模块包括两个卷积块、 两个2*2的最大池化层、 ReLU全连接层和Sigmoid全连接层， 卷积 块、 最大池化层、 卷积块、 最大池化层、 ReLU全连接层、 Sigmo id全连接层依次连接 。 10.如权利要求8或9的基于特征金字塔和特征融合的小样本图像分类系统， 其特征在 于， 卷积块包括卷积层、 Batch  Norm层和ReLU激活函数层， 卷积层的卷积核大小为3*3， 输出 通道数为64。权　利　要　求　书 2/2 页 3 CN 115272692 A 3