基于深度强化学习的混合储能系统最优控制

doi:10.16628/j.cnki.2095-8188.2021.11.007

电器与能效管理技术 ›› 2021, Vol. 0 ›› Issue (11): 42-49.doi: 10.16628/j.cnki.2095-8188.2021.11.007

基于深度强化学习的混合储能系统最优控制

李红¹, 朱立位¹, 郭朝辉²

1.国网江苏省电力有限公司连云港供电分公司, 江苏连云港 222004
2.南京工程学院电力工程学院, 江苏南京 211167

收稿日期:2021-07-21 出版日期:2021-11-30 发布日期:2022-01-25
作者简介:李红(1980—),女,高级工程师,主要从事智能电网规划与运行控制研究。|朱立位(1981—),男,高级工程师,主要从事储能规划与运行控制研究。|郭朝辉(1993—),男,硕士研究生,研究方向为人工智能在电力电子控制中的应用。
基金资助:
* 国网江苏省电力有限公司科技项目(J2019112);国家自然科学基金项目(51707089)

Optimal Control of Hybrid Energy Storage System Based on Deep Reinforcement Learning

LI Hong¹, ZHU Liwei¹, GUO Zhaohui²

1. Lianyungang Power Supply Company,State Grid Jiangsu Electric Power Co.,Ltd.,Lianyungang 222004, China
2. School of Electric Power Engineering,Nanjing Institute of Technology, Nanjing 211167, China

Received:2021-07-21 Online:2021-11-30 Published:2022-01-25

摘要/Abstract

摘要：

直流微电网孤岛运行模式下,当光伏出力或负荷突变时,直流母线电压产生较大波动。为稳定直流电压,混合储能系统进行快速充放电,传统比例-积分(PI)控制难以实现较好的控制效果。因此,提出一种基于深度强化学习的最优控制方法。首先分析直流电压控制非线性特性;给出基于输入/输出数据的深度强化学习算法框架与学习流程;设计状态空间、动作空间、奖励函数与神经网络,实现混合储能系统DC/DC换流器的最优控制;最后,在直流微电网系统中进行仿真,相比传统PI控制,所提方法能够减小直流母线电压波动,提升系统的稳定性

关键词: 直流微电网, 混合储能系统, 深度强化学习, 最优控制

Abstract:

Under the islanding operation mode of DC micro-grid,when the photovoltaic output or load changes suddenly,the DC bus voltage fluctuates greatly.To stabilize the DC voltage,hybrid energy storage system charges and discharges quickly,but traditional proportional integral (PI) control is difficult to achieve good control effect.Therefore,an optimal control method based on deep reinforcement learning is proposed.Firstly,the nonlinear characteristics of DC voltage control are analyzed; the deep reinforcement learning algorithm framework and learning process based on input/output data are given.The state space,action space,reward function and neural network are designed to realize the optimal control of DC/DC converter in hybrid energy storage system.Finally,the simulation in DC micro-grid system shows that the proposed method can reduce the DC bus voltage fluctuation and improve the stability of the system compared with PI control.

Key words: DC micro-grid, hybrid energy storage system, deep reinforcement learning, optimal control

中图分类号:

TM912

李红, 朱立位, 郭朝辉. 基于深度强化学习的混合储能系统最优控制[J]. 电器与能效管理技术, 2021, 0(11): 42-49.

LI Hong, ZHU Liwei, GUO Zhaohui. Optimal Control of Hybrid Energy Storage System Based on Deep Reinforcement Learning[J]. LOW VOLTAGE APPARATUS, 2021, 0(11): 42-49.

图/表 14

图1

图2

图3

图4

图5

图6

图7

表1

表2

图8

图9

图10

图11

表3

参考文献 23

[1]	张怀宇, 徐超然, 黄志龙, 等. 考虑光伏发电不确定性的源-网-荷-储协调调度方法[J]. 电器与能效管理技术, 2021(5):86-92.
[2]	倪爽, 崔承刚, 郑庆荣, 等. 基于多风电相关性场景生成法的配电网随机多目标无功优化[J]. 浙江电力, 2020, 39(11):103-111.
[3]	刘颖明, 陈亮, 王晓东, 等. 混合储能参与风电集群一次调频的容量配置优化[J]. 电器与能效管理技术, 2020(10):55-63.
[4]	吴仁光, 郑立, 李凯鹏, 等. 面向综合能源配电网的储能系统优化配置方法[J]. 广东电力, 2020, 33(3):42-50.
[5]	孔昱凯, 温步瀛, 朱振山, 等. 含储能的孤岛微电网日前-日内协调优化运行[J]. 电器与能效管理技术, 2021(2):65-74.
[6]	徐虹卿, 张宇献, 邢作霞. 考虑风电不确定性的风电储能混合系统协调优化计算[J]. 电器与能效管理技术, 2019(9):53-59,70.
[7]	栾德利, 张宇献. 计及可靠性的风光储混合系统优化配置策略[J]. 电器与能效管理技术, 2020(11):95-102.
[8]	沈乃君, 高杰, 何新. 一种基于混合储能系统的风光功率平滑控制策略研究[J]. 电器与能效管理技术, 2019(1):62-68.
[9]	林崇, 陈佳桥, 王金友, 等. 新型混合储能功率变换器及控制策略研究[J]. 电器与能效管理技术, 2019(20):26-31.
[10]	刘文康, 谷志锋, 葛孟超, 等. 混合储能系统反演自适应变结构控制[J]. 电力电容器与无功补偿, 2020, 41(1):215-220.
[11]	KOLLIMALLA S K, MISHRA M K, NARASAMMA N L. Design and analysis of novel control strategy for battery and supercapacitor storage system[J]. IEEE Transactions on Sustainable Energy, 2014, 5(4):1137-1144. doi: 10.1109/TSTE.2014.2336896
[12]	ZHU F Q, YANG Z P, XIA H, et al. Hierarchical control and full-range dynamic performance optimization of the supercapacitor energy storage system in urban railway[J]. IEEE Transactions on Industrial Electronics, 2018, 65(8):6646-6656. doi: 10.1109/TIE.2017.2772174
[13]	王坦坦, 孙树敏, 王楠, 等. 基于混合储能的微电网控制策略研究[J]. 现代电子技术, 2020, 43(21):119-121,126.
[14]	DUAN J J, YI Z H, SHI D, et al. Reinforcement-learning-based optimal control of hybrid energy storage systems in hybrid AC-DC microgrids[J]. IEEE Transactions on Industrial Informatics, 2019, 15(9):5355-5364. doi: 10.1109/TII.9424
[15]	TANG Y H, HU W H, XIAO J, et al. Reinforcement learning based efficiency optimization scheme for the DAB DC-DC converter with triple-phase-shift modulation[J]. IEEE Transactions on Industrial Electronics, 2021, 68(8):7350-7361. doi: 10.1109/TIE.2020.3007113
[16]	ZHOU L, SWAIN A, UKIL A. Reinforcement Learning controllers for enhancement of low voltage ride through capability in hybrid power systems[J]. IEEE Transactions on Industrial Informatics, 2020, 16(8):5023-5031. doi: 10.1109/TII.9424
[17]	王之伟, 陆晓, 刁瑞盛, 等. 基于深度强化学习的电网自主控制与决策技术[J]. 电力工程技术, 2020, 39(6):34-43.
[18]	WU S, LI G Q, DENG L, et al. L1-Norm batch normalization for efficient training of deep neural networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019, 30(7):2043-2051. doi: 10.1109/TNNLS.2018.2876179
[19]	AWATE Y P. Policy-Gradient based Actor-Critic algorithms [C]//WRI Global Congress on Intelligent Systems, 2009:505-509.
[20]	SUTTON R S, MCALLESTER D A, SINGH S P, et al. Policy gradient methods for reinforcement learning with function approximation [C]//Neural Information Processing Systems, 1999:1057-1063.
[21]	LILLICRAP T P, HUNT J J, PRITZEL A, et al. Continuous control with deep reinforcement learning [C]//International Conference on Learning Representations, 2016:219-225.
[22]	GHEISARNEJAD M, FARSIZADEH H, KHOOBAN M H. A novel nonlinear deep reinforcement learning controller for DC-DC power Buck converters[J]. IEEE Transactions on Industrial Electronics, 2021, 68(8):6849-6858. doi: 10.1109/TIE.2020.3005071
[23]	SUTTON R S, BARTO A G. Reinforcement learning:An introduction [M]. Cambridge: MIT Press, 1998.

参数	数值
开关频率/kHz	10
R₁_f/Ω	0.2
L₁_f/mH	5
R₂_f/Ω	0.2
L₂_f/mH	5
C/μF	4 700

参数	数值	参数	数值
迭代次数/次	1 000	经验回放区长度	1×10⁶
采样时间/s	1×10^-4	更新系数τ	1×10^-3
动作学习率	1×10^-3	目标平滑因子	1×10^-3
批评学习率	1×10^-3	目标策略平滑噪声方差	0.3
折扣因子	0.92	目标策略平滑上限	0.5
小批量大小	64	目标策略平滑下限	-0.5

控制方法	电压波动/V
控制方法	光伏突变	负荷突变
PI控制	36 (5.5%)	35 (5.4%)
DDPG控制	22 (3.4%)	20 (3.1%)

基于深度强化学习的混合储能系统最优控制

Optimal Control of Hybrid Energy Storage System Based on Deep Reinforcement Learning

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 23

相关文章 3

编辑推荐

Metrics

本文评价

[1]	刘文亮. 直流微电网自适应两阶段下垂控制方法[J]. 电器与能效管理技术, 2021, 0(8): 58-63.
[2]	陆庆, 夏耀杰, 杨杰, 关瑞丰. 一种基于梯次电池充电末期的自适应柔性充电策略[J]. 电器与能效管理技术, 2021, 0(5): 55-58.
[3]	沈华, 陈葛亮, 林林, 张晓琳. 光储直流微电网控制器硬件在环仿真平台开发^*[J]. 电器与能效管理技术, 2020, 590(5): 62-66.