(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210981303.0 (22)申请日 2022.08.16 (71)申请人 悉科大创新研究 （深圳） 有限公司 地址 518000 广东省深圳市福田区福保街 道福保社区市花路南侧长富金茂 大厦 2号楼1501-1525 (72)发明人 陈疏桐　 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06N 20/00(2019.01) G06F 21/62(2013.01) (54)发明名称 一种基于图深度聚类的联邦影像 分类方法、 存储介质 (57)摘要 本发明提供一种基于图深度聚类的联邦影 像分类方法、 存储介质， 方法包括各个客户端使 用本地影像数据集对服务器发送过来的全局模 型进行训练， 并将其发送至服务器； 服务器计算 局部模型之间的相似度， 构建出相似性图； 基于 所述相似性图， 使用各个局部模 型训练最新的深 度嵌入模型； 将深度嵌入模型的嵌入向量在嵌入 参数空间上聚为K类， 以将嵌入向量对应的客户 端聚类到K个标签下； 分别 聚合每个标签下所有 客户端的局部模型， 得到K个聚合后的全局模型； 将K个聚合后的全局模型分别发送至其标签下的 各个客户端， 重复执行上述步骤直至收敛。 本发 明能够有效强化联邦学习系统的有效性， 提升联 邦学习系统的收敛性。 权利要求书2页 说明书9页 附图2页 CN 115311478 A 2022.11.08 CN 115311478 A 1.一种基于图深度聚类的联邦影 像分类方法， 其特 征在于， 包括： S1： 各个客户端使用本地影像数据集对服务器发送过来的全局模型进行训练， 并将训 练后的全局模型发送至服 务器； S2： 服务器计算客户端发送过来的各个局部模型之间的相似度， 构建出相似性图； S3： 服务器基于所述相似性图， 使用各个局部模型训练最 新的深度嵌入 模型； S4： 在训练后的深度嵌入模型的嵌入参数空间上使用聚类算法， 以依据聚类结果将嵌 入向量对应的客户端聚类到K个标签下， 所述K为大于1的整数； S5： 分别聚合每 个标签下 所有客户端的局部模型， 得到K个聚合后的全局模型； S6： 将所述K个聚合后的全局模型分别发送至其标签下的各个客户端， 然后返回执行 S1， 直至收敛。 2.如权利要求1所述的一种基于图深度聚类的联邦影像分类方法， 其特征在于， 所述S1 之前， 还包括： S01： 服务器中初始化全局模型和深度嵌入 模型； S02： 建立 服务器与各个客户端之间的通信连接关系； S03： 服务器发送初始化的全局模型至各个客户端。 3.如权利要求1所述的一种基于图深度聚类的联邦影像分类方法， 其特征在于， 客户端 的本地影 像数据集 为Di＝(Xi,Yi)； 其中， i为客户端的标号， Xi为客户端i的本地影 像数据， Yi为客户端i数据Xi的标签； 所述全局模型的输入为影 像数据， 输出为影 像对应的标签； 所述深度嵌入模型的输入为全局模型参数， 输出为维度低于全局模型参数空间的嵌入 向量。 4.如权利要求3所述的一种基于图深度聚类的联邦影像分类方法， 其特征在于， 所述S1 中对全局模型进行训练时所使用的损失函数为： 其中， l为衡量模型输出和标签的差异的损失函数， j为客户端i中的第j个数据， |Di|为 客户端i中的数据个数， fi是客户端i从服 务器接收到的最 新的全局模型。 5.如权利要求4所述的一种基于图深度聚类的联邦影像分类方法， 其特征在于， 所述S3 中使用下述损失函数梯度下降更新深度嵌入 模型的模型向量： Zi＝f'(Wi)； 其中， f'是最 新的深度嵌入 模型， Zi是客户端i的嵌入向量。 6.如权利要求5所述的一种基于图深度聚类的联邦影像分类方法， 其特征在于， 所述S1 中对全局模型进行训练的过程包括： S11： 使用公式： Wit+1＝Wit‑ηtgi(Wit)对全局模型进行训练； 其中， Wit为模型fi在第t个轮次下的参数， ηt为第t个轮次下的步长， gi为客户端i下的梯 度公式；权　利　要　求　书 1/2 页 2 CN 115311478 A 2S12： 重复执行所述S101步骤T次， 得到客户端i训练后的局部模型参数WiT， 所述T为大于 1的整数。 7.如权利要求6所述的一种基于图深度聚类的联邦影像分类方法， 其特征在于， 所述相 似性图使用高斯核函数： Aij＝exp(‑γ||Wi‑Wj||2)构建得到； 其中， exp为指数函数， γ为系数， Aij是相似性图G＝(V,E,A)中的相似度矩阵A第i行第j 列的值。 8.如权利要求1所述的一种基于图深度聚类的联邦影像分类方法， 其特征在于， 所述S4 具体包括： S41： 在训练后的深度嵌入 模型的嵌入参数空间中初始化K个标签作为初始聚类中心； S42： 分别计算所述训练后的深度嵌入模型中所有的嵌入向量与所述初始化K个聚类 中 心的欧几里得距离的平方， 确定每个嵌入向量对应的初始 化聚类中心， 得到K个聚类嵌入向 量簇； S43： 分别计算每个聚类嵌入向量簇 中所有嵌入向量的平均值， 并将平均值作为对应聚 类嵌入向量簇新的聚类中心； S44： 若新的聚类中心与对应聚类嵌入向量簇的初始聚类中心不同且迭代次数小于预 设阈值， 则返回S42， 否则执 行S45； S45： 依据嵌入向量与 聚类嵌入向量簇的对应关系， 将嵌入向量对应的客户端聚类到K 个标签下。 9.如权利要求5所述的一种基于图深度聚类的联邦影像分类方法， 其特征在于， 所述S5 中聚合标签下 所有客户端的局部模型 所使用的模型聚合 算法为： 其中， Nk是第k个标签对应的客户端， Ck是第k个标签的全局模型； 所述模型聚合 算法产生C1,C2,…,CK共K个聚合后的全局模型。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述程序在被处 理器执行时， 能够实现上述权利要求1 ‑9任意一项所述的一种基于图深度聚类的联邦影像 分类方法所包 含的步骤。权　利　要　求　书 2/2 页 3 CN 115311478 A 3