(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211343226.2 (22)申请日 2022.10.31 (71)申请人 北京大学 地址 100871 北京市海淀区颐和园路5号 (72)发明人 丁永康　何冠楠　宋洁　陈新江　 (74)专利代理 机构 北京万象新悦知识产权代理 有限公司 1 1360 专利代理师 黄凤茹 (51)Int.Cl. G06F 30/27(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) H02J 3/00(2006.01) H02J 3/32(2006.01) G06F 111/04(2020.01) (54)发明名称 一种基于深度强化学习的移动储能充放电 时空规划方法 (57)摘要 本发明公布了一种基于深度强化学习的移 动储能充放电时空规划方法， 对于移动储能系 统， 建立用于充 放电选择、 充 放电地点确定、 充 放 电功率决策的离散连续混合动作空间和移动储 能系统状态空间； 基于值网络和策略网络深度神 经网络构建移动储能充放电时空规划网络模型； 通过深度强化学习和受限马尔科夫过程的建模， 训练包含四个神经网络的两级决策网络， 对移动 式储能系统的充放电决策、 充放电功率、 充放电 地点路径进行学习， 从而对移动储能系统优化配 置进行在 线决策， 由此 实现基于深度强化学习的 移动储能充放电时空规划。 本发 明简化了移动储 能系统充放电时空优化的建模步骤， 加快移动储 能配置优化决策速度， 提高了经济收益。 权利要求书4页 说明书12页 附图3页 CN 115392143 A 2022.11.25 CN 115392143 A 1.一种基于深度强化学习的移动储能充放电时空规划方法， 对于移动储能系统， 建立 用于充放电选择、 充放电地点确定、 充放电功率决策 的离散连续混合动作 空间和移动储能 系统状态空间； 基于值网络和策略网络深度神经网络构建移动储能充放电时空规划网络模 型； 通过深度强化学习和受 限马尔科夫过程的建模和模型训练， 对移动式储能系统的充放 电决策、 充放电功 率、 充放电地点路径进 行学习， 对移动储能系统充放电优化配置进 行在线 时空规划决策； 包括以下步骤： 1） 确立移动储能充放电时空规划优化目标函数以及相应的约束， 包括电量约束和功率 约束； 目标函数表示 为： 其中， 其中， 表示充放电时空规划优化目标为储能收益最大化； 为移动储 能系统的充放电收益； 为移动储能系统在 不同地点之间的移动成本， 为移动 储能系统老化成本； 决策变量 包括 时刻系统在 位置的充电功率 ， 放电功率 ， 从当前位置 到下一位置 的时间 ； 其中： 其中 为充放电效率， 为当前时间地点的电价； H为时间槽集合； 为充电站地点集合； 为将时间划分成的时间槽； 其中 为常数， 表示单位时间的移动成本； 其中 为与充放电量相关的常数； 为充电功率； 为放电功率； 移动储能系统的主要约束包括电量容量约束和充放电功率约束， 均不可超过其最大 值， 不可小于其 最小值， 表示 为： 其中， 为 时刻的剩余电量； 为最低容量限制； 为最大电池容量； 和 分 别为 时刻的充电功率和放电功率； 为最大充放电功率； 2） 设计获取移动储能系统的状态空间信息， 包括： 电价、 电量、 电量成本、 充放电位置空 间信息； 时刻的状态空间由公式 描述， 其中 为 时刻的剩余电量，权　利　要　求　书 1/4 页 2 CN 115392143 A 2代表剩余电量的平均成本， 代表电价， 分别表示地点和时刻； 动作空间 由公 式 表示， 为充放电选择， 包括充电、 放电、 保持； 为相应的功率； 设计移动储能系统的奖励函数， 表示 为如下形式： 其中， 为奖励函数； 为电价， 为放电功率； 充电、 放电和保持的状态转移方程分别如下公式所示： 其中， 是神经网络的决策； 下 标 表示下一个决策时刻； 设计移动储能系统在电池容 量边界时的网络模型 学习方法： 使用镜像下降和梯度投影的方法， 将超出可行域的 电池容量解重新投影到可行域中， 并利用布莱格曼散度来确定投影位置； 最佳投影点为边界点， 即电池容量边界， 且为收敛 点， 即解出的电池电量 为可行解； 投影点即可 行的电池电量的计算方式如下： 其中， 为电池电量解； 为镜像投影方向， 为不可行的电池电量解； argmin为求权　利　要　求　书 2/4 页 3 CN 115392143 A 3