(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211050272.3 (22)申请日 2022.08.31 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 (72)发明人 刘坤　韩冬昱　林业茗　王浩军　 曹渊　宿广镇　余万泽　夏元清　 (74)专利代理 机构 北京理工大 学专利中心 11120 专利代理师 李微微 (51)Int.Cl. G06N 20/00(2019.01) G06F 21/62(2013.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于非随机隐私保护分布式深度学习 的信号处 理方法 (57)摘要 本发明公开了一种基于非随机隐私保护分 布式深度学习的信号处理方法， 非随机隐私的深 度学习信号处理能够在不显著增加计算、 通信负 担的同时， 一定程度保护隐私信息； 具体来 说， 在 该方法中， 每个处理器为了保护隐私， 仅仅需要 根据算法2的第6行加入额外的隐私量化操作， 这 个操作只涉及简单的判断运算， 并且传输的数据 比特数小于等于原始数据， 因此能够在不显著增 加计算负担， 并且减少通信负担的同时保护隐 私； 非随机隐私的深度学习信号处理能够在一定 程度保护隐私信息的同时， 有效地保证学习的精 确性。 具体来说， 根据算法2第4行， 通过合理地选 择参数η、 s， 可以实现相应的数据传输精确程 度， 从而保护分布式深度学习的精确性。 权利要求书2页 说明书6页 附图3页 CN 115423116 A 2022.12.02 CN 115423116 A 1.一种基于非随机隐私保护分布式深度学习的信号处 理方法， 其特 征在于， 包括： 步骤0、 将深度 学习模型配置到多个处理器并分配不同的任务线程， 每个线程基于分布 式的数据集与满足 非随机隐私的通信协议进行交 互； 步骤1、 对每个处理器的深度 学习模型进行非 随机隐私分布式深度 学习本地训练， 具体 包括： 步骤11、 首先输入分布式数据集D， 初始化学习率γ， 非随机隐私参数η， 训练轮次总数 T， 每批数据量的大小n， 定义总体数据量大小为|D|； 其中， 表示每一个训练轮次内对 数据集的采样总轮数； 将当前模型权值表示 为θi； 步骤12、 令训练轮次t＝1； 步骤13、 令采样轮数k ＝1； 步骤14、 从分布式数据集D中不放回地随机采样批量为n的数据Dt,k∈D； 根据采样的数 据Dt,k计算模型的损失函数L( θi,Dt,k)以及相应的梯度 处理器计算更新后的模型 权值： 步骤15、 与分布式网络中的邻居处理器进行非随机隐私分布式通信， 并进行模型权值 的聚合更新， 具体为： 根据非随机隐私参数 η， 选取参数s使得不 等式η ≥2+l og210s成立的最大值； 针对网络中的每一个处 理器i： 计算基于量 化非随机隐私的模型权值 如下： 其中， θmax为模型权值每个维度上的取值范围最大值， θmin为模型权值每个维度上的取 值范围最小值； 向网络中的邻居处 理器发送隐私模型权值 从每个邻居j接收模型权值 其中， j∈Ni， Ni表示处理器i的全部邻居处理器所构成 的集合； 并定义 其邻居处 理器的个数为|Ni|； 各 处 理 器 聚 合 接 收 到 的 全 部 模 型 权 值 ， 并 更 新 自 身 的 当 前 模 型 权 值 ： 步骤16、 判断是否满足k ＝K， 如果 不满足， k加1转到步骤14， 如果满足， 执 行步骤17；权　利　要　求　书 1/2 页 2 CN 115423116 A 2步骤17、 判断是否满足t＝T， 如果 不满足， t值加1； 如果满足， 执 行下一步； 步骤2、 将模型权值θi配置给深度学习模型， 各处理器基于深度学习模型对输入信号进 行相应的处 理。 2.如权利要求1所述的一种基于非随机隐私保护分布式深度学习的信号处理方法， 其 特征在于， 所述数据集D为图像数据， 所述步骤2中， 各 处理器基于深度学习模型对输入的图 像信号进行处 理。 3.如权利要求1所述的一种基于非随机隐私保护分布式深度学习的信号处理方法， 其 特征在于， 所述数据集D为分布式传感器数据， 所述步骤2中， 各 处理器基于深度学习模型对 输入的分布式传感器数据进行处 理。 4.如权利要求1所述的一种基于非随机隐私保护分布式深度学习的信号处理方法， 其 特征在于， 所述数据集D为频域信号数据， 所述步骤2中， 各 处理器基于深度学习模 型对输入 的频域信号进行处 理。 5.如权利要求1所述的一种基于非随机隐私保护分布式深度学习的信号处理方法， 其 特征在于， 初始模型权值 根据经验设置或者随机设置 。权　利　要　求　书 2/2 页 3 CN 115423116 A 3