(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211115836.7 (22)申请日 2022.09.14 (71)申请人 广州大学 地址 510006 广东省广州市大 学城外环西 路230号 (72)发明人 王乐　李钊华　顾钊铨　邓建宇　 谭灏南　张登辉　 (74)专利代理 机构 广州高炬知识产权代理有限 公司 44376 专利代理师 刘志敏 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/74(2022.01) G06V 10/82(2022.01) G06V 10/94(2022.01) (54)发明名称 一种重构联邦学习中输入数据的方法 (57)摘要 本发明涉及人工智能技术领域， 公开了一种 重构联邦 学习中输入数据的方法， 其包括如下步 骤： S1： 随机初始化N组伪样本， 初始化梯度反演 的超参； S2： 执行动超参探索模块， 获得合适的超 参； S3： 运行分布式梯度反演算法模块； S4： 执行 伪样本组的初始梯度反演 模块， 在指定的初始迭 代次数Tinit后停止； S5： 执行最小损失组合优化 模块， 构成群一致正则项， 反复次数Ttotal‑in后， 最终选择一组最小损失组合样本； S6： 执行最小 损失组合最终梯度反演， 最小损失组合样本迭代 次数Tend后结束， 形成最终的重构目标样本。 本发 明采用端对端梯度反演E2EGI方法， 可实现分布 式模型梯度重构输入， 重构出批大小不低于256 的样本。 权利要求书2页 说明书6页 附图2页 CN 115527081 A 2022.12.27 CN 115527081 A 1.一种重构联邦学习中输入数据的方法， 其特 征在于， 包括以下步骤： S1： 随机初始化 N组伪样本， 初始化梯度反演的超参； S2： 执行基于BOHB自动超参探索模块， 获得合 适的超参； S3： 运行分布式梯度反演算法模块， 以支持后续所有的梯度反演； S4： 执行伪样本组的初始梯度反演模块， N组伪样本分别执行梯度反演算法， 在指定的 初始迭代次数Tinit后停止； S5： 执行最小损失组合优化模块， N 组伪样本每隔指定的迭代次数Tin后就生成一组最小 损失组合样本， 构成群一 致正则项， 反复次数Ttotal‑in后， 最终选择一组最小损失组合样本； S6： 执行最小损失组合最终梯度反演， 最小损失组合样本迭代次数Tend后结束， 形成最 终的重构目标样本 。 2.根据权利要求1所述的重构联邦学习中输入数据的方法， 其特征在于： 所述S1中每组 伪样本的批大小、 维度以及取值 域都与目标样本相同。 3.根据权利要求1所述的重构联邦学习中输入数据的方法， 其特征在于： 所述S3 中的分 布式梯度反演算法的执 行步骤包括以下步骤： S1： 选择其中一组伪样本开始执 行分布式梯度反演， 选择 可并行的GPU个数M； S2： 将一组伪样本的个数按照M进行均分， 每 个GPU负责该组中的一部分伪样本； S3： 每个GPU对负责的伪样本计算 其对应的模型伪梯度； S4： 所有GPU共享模型伪梯度， 并计算 其均值， 得到整个伪样本对应的模型伪梯度； S5： 每个GPU将获得的模型伪梯度， 进行梯度损失计算； S6： 每个GPU进行反向传播， 即计算目标函数损失值对输入伪样本的梯度， 从而计算得 到所负责的伪样本的更新梯度； S7： 不断重复过程S3 ‑S6， 直至达到指定的迭代次数停止 。 4.根据权利要求1所述的重构联邦学习中输入数据的方法， 其特征在于： 所述S4中伪样 本更新环 节， 每次对伪样本进行 更新都引入高斯噪声 η， 其 放缩因子为αn， 如下述公式： 5.根据权利要求1所述的重构联邦学习中输入数据的方法， 其特征在于： 所述S5 中最小 损失组合优化的执 行步骤如下： S1： 分别计算所有伪样本组的梯度损失值， 选择最小损失值的一组伪样本作为候选样 本； S2： 遍历到候选样本的第i个样本； S3： 分别将其他伪样本组的第i个样本替换掉候选样本的第i个样本， 并分别计算其所 组成的最新样本的梯度损失值， 若该样本的替换可以获得更小的梯度损失值， 则将其保留 在候选样本中， 否则抛 弃； S4： 重复S2 ‑S3， 直至遍历完所有候选样本， 得到样本 S5： 样本 构成所有伪样本梯度反演中的群一致正则项Rgroup， 所有伪样本继续执行梯权　利　要　求　书 1/2 页 2 CN 115527081 A 2度反演， 迭代次数为Tin； S6： 重复S1 ‑S5,重复次数为Ttotal‑in， 结束后将构成最终的最小损失组合样本 。权　利　要　求　书 2/2 页 3 CN 115527081 A 3