(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210897543.2 (22)申请日 2022.07.28 (71)申请人 河海大学 地址 211100 江苏省南京市江宁区佛城西 路8号 (72)发明人 程礼临　臧海祥　卫志农　刘璟璇　 张越　孙国强　陈胜　黄蔓云　 周亦洲　韩海腾　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 周科技 (51)Int.Cl. G06Q 10/06(2012.01) G06Q 50/06(2012.01) H02J 3/00(2006.01)H02J 3/14(2006.01) G06F 21/60(2013.01) G06F 21/62(2013.01) G06N 5/00(2006.01) G06N 20/20(2019.01) (54)发明名称 基于同态加密强化学习的电器负荷需求响 应方法 (57)摘要 本发明公开了一种基于同态加密强化学习 的电器负荷需求响应方法， 首先， 定义居民电器 负荷的响应类型， 对电器负荷的需求响应系数进 行离散化处理； 其次， 基于加法同态加密算法， 对 参与需求响应的所有用户的电器负荷需求数据 进行加密； 接着， 基于电器负荷的响应类型和需 求响应系数、 以及配电网的实时电价， 构建电器 负荷需求响应模 型； 构建基于随机森 林深度强化 网络， 定义强化网络的状态、 动作和奖励函数； 基 于加密的电器负荷需求数据， 使用分布式双重强 化学习网络算法对所构建的网络进行模型训练， 实现电器负荷需求响应。 本发明在保障用电隐私 的情况下， 实时智能化地削减或中断居民的电器 负荷， 降低配电网的过负荷风险、 提升运行的稳 定性。 权利要求书3页 说明书7页 附图2页 CN 115358534 A 2022.11.18 CN 115358534 A 1.基于同态加密强化学习的电器负荷需求响应方法， 其特 征在于： 包括以下步骤： 步骤1： 定义居民电器负荷的响应 类型， 对电器负荷的需求响应系数进行离 散化处理； 步骤2： 基于加法同态加密算法， 对参与需求响应的所有用户的电器负荷需求数据进行 加密， 传递给需要求 解需求响应模型的用户； 步骤3： 基于电器负荷的响应类型和离散化的需求响应系数、 以及配电网的实时电价， 构建基于电价的电器负荷需求响应模型； 步骤4： 构建随机森林深度强化网络DQN， 针对步骤3所构建的电器负荷需求响应模型定 义随机森林DQ N的状态、 动作和奖励函数； 步骤5： 基于加密的电器负荷需求数据， 使用分布式双重强化学习网络算法对所构建的 随机森林DQ N进行训练， 实现电器负荷需求响应。 2.根据权利要求1所述的基于同态加密强化学习的电器负荷需求响应方法， 其特征在 于： 步骤1中， 将居民电器负荷按照响应类型定义为不可转移型、 可削减 型和可中断型三种， 其中可中断型和可削减型电器负荷参与需求响应， 公式如下： 式中， load(t)为居民用户在时间t的总负荷， 和 为居民用户在时间t和时 间t–1的第i个可中断型电器的负荷需求， 为居民用户在时间t的第j个可削减型电器 的负荷需求， lN(t)为居民用户在时间t的不可转移型电器负荷需求， 和 为居 民用户在时间t和时间t –1的第i个可中断型电器的需求响应系数， 为居民用户在时间 t的第j个可削减型电器的需求响应系数。 3.根据权利要求2所述的基于同态加密强化学习的电器负荷需求响应方法， 其特征在 于： 对可中断型和可削减型电器的需求响应系数进行离 散化处理， 公式如下： 式中， η*ZD(t)为离散化的可中断型电器的需求响应系数， 整型数值0和1代表中断和不 中断， η*XJ(t)为离散化的可削减型电器的需求响应系数， 浮点数值范围在0.0到1.0、 间隔 0.1， 代表削减电器负荷需求的比例。 4.根据权利要求2所述的基于同态加密强化学习的电器负荷需求响应方法， 其特征在 于： 步骤2中， 基于加法同态加密算法， 对用户的电器负荷需求数据进行加密， 公式如下： X1+X2＝dec(enc(X1+X2))＝dec(enc(X1)×enc(X2)), 式中， X1和X2为满足加法同态性质的待加密数据、 包含用户的电器负荷需求数据， enc和 dec为加密函数和解码函数， 加密后的数据传递给需要求解需求响应模 型的用户， 进 行模型 求解。 5.根据权利要求1 ‑4任一所述的基于同态加密强化学习的 电器负荷需求响应方法， 其 特征在于： 步骤3中， 基于电器负荷的响应类型和离散化的需求响应系 数， 以及配电网的实权　利　要　求　书 1/3 页 2 CN 115358534 A 2时电价， 构建基于电价的电器负荷需求响应模型， 公式如下： min price(t) ×load(t), price(t)＝p0(t)+p1∑load(t)+p2∑load(t)2 式中， min为最小化目标函数， price(t)为时间t的电价， p0(t)、 p1和p2为实时电价系数， ∑load(t)为时间t的配电网下 所有用户总负荷。 6.根据权利要求2 ‑4任一所述的基于同态加密强化学习的 电器负荷需求响应方法， 其 特征在于： 步骤4中， 构建随机森林深度强化网络DQN， 针对电器负荷需求响应模型定义随机 森林DQN的状态、 动作和奖励函数， 包括： 步骤4.1： 构 建基本的DQN函数， 以时间t的动作和状态为输入， 计算输出 时间t的动作 价 值， 公式如下： Qt＝f(at,st| θ ) 式中， Qt为时间t的动作价值， at和st分别为时间t的动作和状态， f( ·)为DQN函数， θ为 DQN函数的训练参数； 步骤4.2： 基于随机森林原理替换基本的DQN函数f( ·)， 其中， 随机森林通过放回采样 构建多棵回归决策树， 并通过最小化回归平方和误差确定最优的树节点划分， 公式如下： 式中， R1和R2为树节点划分的两类样本数据集， j和s分别为最优树节点划分的输入编号 和输入值， xi和yi为第i个样本的输入和输出， N1和N2分别为样本数据集R1和R2的样本个数， c1和c2分别为样本数据集R1和R2的输出的平均值； 步骤4.3： 定义随机森林DQ N的状态， 公式如下： 式中， st为时间t的状态， Nuser为参与需求响应的居民用户总数， 和enc(lN(t))分别为加密后的居民用户在时间t和时间t –1的第 i个可中断型电器的负荷需求， 居民用户在时间t的第j个可削减型电器的负荷需求以及居 民用户在时间t的不可转移型电器负荷需求； 步骤4.4： 定义随机森林DQ N的动作， 公式如下： at＝{ η*ZD(t), η*XJ(t)} 式中， at为时间t的动作， η*ZD(t)和 η*XJ(t)分别为离散化的可中断型电器的需求响应系 数和离散化的可削减型电器的需求响应系数； 步骤4.5： 定义随机森林DQ N的奖励函数， 公式如下： 式中， rt为时间t的奖励函数， price(t)为 时间t的电价， load(t)为居民用户在时间t的权　利　要　求　书 2/3 页 3 CN 115358534 A 3