(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211024183.1 (22)申请日 2022.08.24 (71)申请人 南京理工大 学 地址 210094 江苏省南京市玄武区孝陵卫 200号 (72)发明人 郭壮壮　钱玉文　马川　李骏　 时龙　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 岑丹 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06N 20/00(2019.01)G06N 3/08(2006.01) G06N 3/04(2006.01) G06F 21/62(2013.01) (54)发明名称 基于稀疏神经网络的联邦元学习图像分类 方法 (57)摘要 本发明公开了一种基于稀疏神经网络的联 邦元学习图像分类方法， 通信效率高， 算法性能 好。 本发明方法主要包括以下步骤： (10)设置全 连接神经网络节点与相关系数， 建立源节点集合 与目标节点集合； (20)对全 连接神经网络进行稀 疏化， 初始化稀疏神经网络权重参数； (30)在每 个源节点的训练集数据上进行训练 内部更新； 在 每个源节点的测试集数据上进行外部 更新； (40) 移除每个源节点外部更新后权重矩 阵每层最小 的正数与最大的负数， 通过判断迭代次数t是否 为设置的本地迭代次数的整数倍 以做出相应的 处理； (50)基于源节点集合训练得到的参数在每 个目标节 点中的训练集数据进行梯度更新训练， 并利用目标节点微调后的模型进行图像分类任 务。 权利要求书2页 说明书6页 附图4页 CN 115359298 A 2022.11.18 CN 115359298 A 1.一种基于稀疏神经网络的联邦元 学习图像分类方法， 其特 征在于， 包括以下步骤： (10)设置全连接神经网络节点与相关系数， 建立图像分类任务的源节点集合和目标节 点集合； (20)对全连接神经网络进行稀疏化， 生成稀疏神经网络； (30)初始化稀疏神经网络权重参数， 并发送给所有的源节点作为每个源节点的初始参 数； (40)基于初始参数， 在每个源节点的训练集数据上进行训练， 以一步梯度下降进行内 部更新； (50)基于每个源节点内部更新后得到的参数， 在其测试集数据上进行训练， 以一步梯 度下降进行外 部更新； (60)移除每个源节点i外部更新后参数的权重矩阵每层最小的正数与最大的负数， 通 过判断迭代次数t是否为设置的本地迭代次数的整数倍以做出相应的处 理： 若迭代次数t不是本地迭代次数的整数倍， 则将每个源节点i外部更新后得到的参数作 为每个源节点i下一轮迭代内部更新的初始参数， 判断迭代次数是否达到设置的迭代总次 数， 若达到则进行步骤(70)， 否则返回步骤(40)； 若迭代次数t是本地迭代次数的的整数倍， 则在每个源节点i稀疏连接的参数中随机添 加与移除的连接相等数目的随机权重参数， 将每个源节点i外部更新后得到的稀疏神经网 络参数进行加权聚合， 将加权聚合后的全局 参数作为每个源节点i下一轮迭代内部更新的 初始参数， 判断迭代次数是否达到设置的迭代总 次数， 若达到则进行步骤(70)， 返回步骤 (40)； (70)将源节点进行T次迭代后得到的参数作为每个目标节点的初始参数， 以每个目标 节点中的训练集数据进行梯度更新训练， 得到目标节点 微调后的模型参数； (80)利用目标节点 微调后的模型进行图像分类。 2.根据权利要求1所述的基于稀疏神经网络的联邦元学习图像分类方法， 其特征在于， 设置的全连接神经网络节点与相关系数具体包括： 图像分类任务的源节点集合S， 目标节 点 集合G， 设置迭代总次数T， 本地迭代次数T0， 内部更新学习率α， 外部更新学习率β， 每个节 点 的训练集的数据占比p， 稀疏神经网络参数 ε。 3.根据权利要求1所述的基于稀疏神经网络的联邦元学习图像分类方法， 其特征在于， 步骤(20)中稀疏神经网络相邻两层神经 元连接的概 率为： 式中， ε是稀疏参数， ， ε< <nk， ε<<nk‑1， nk和nk‑1是第k层和k ‑1层的神经 元数量。 4.根据权利要求1所述的基于稀疏神经网络的联邦元学习图像分类方法， 其特征在于， 内部更新公式具体为： 式中， α是内部更新的学习率， 表示每个源节点i第t次内部更新时的初始模型参数， 为训练集数据， 是源节点i的期望损失函数的梯度值， 为节点i第t次内权　利　要　求　书 1/2 页 2 CN 115359298 A 2部更新后的参数， t＝1， 2， . ..， T为迭代次数。 5.根据权利要求4所述的基于稀疏神经网络的联邦元学习图像分类方法， 其特征在于， 节点的期望损失函数 具体为： 其中， D表示节点的本地图像数据集{(x1,y1),...,(xj,yj),...,(x|D|,y|D|)}， |Di|表示 数据集大小， l( θ,(xj,yj))表示损失函数， (xj,yj)∈D表示节点的本地图像数据集D中第j个 图像数据采样点， xj是图像灰度处 理后的矩阵， yj是图像类别， θ表示模型化 参数。 6.根据权利要求1所述的基于稀疏神经网络的联邦元学习图像分类方法， 其特征在于， 外部更新公式具体为： 式中， 表示第t次外部更新前 的参数， β 是外部更新学习率， 是每个源节 点i测试集数据 的期望损失函数的梯度值， 是第t次外 部更新之后得到的参数。 7.根据权利要求1所述的基于稀疏神经网络的联邦元学习图像分类方法， 其特征在于， 将每个源节点 i外部更新后得到的稀疏神经网络参数进行加权聚合的具体方法为： 其中， S表示所有的源节点i的集合， |Di|表示每个源节点i本地数据集的数据量， 是 第t次外部更新之后得到的参数。 8.根据权利要求1所述的基于稀疏神经网络的联邦元学习图像分类方法， 其特征在于， 目标节点t微调后的模型参数φt具体为： 式中， α 是内部更新学习率， 是目标节点t训练集数据 的期望损失函数 的梯度值， θ 为源节点的集 合进行T次迭代后得到的外 部更新后的参数。权　利　要　求　书 2/2 页 3 CN 115359298 A 3