基于深度强化学习的切机控制策略研究

doi:10.16628/j.cnki.2095-8188.2023.03.002

电器与能效管理技术 ›› 2023, Vol. 0 ›› Issue (3): 11-15.doi: 10.16628/j.cnki.2095-8188.2023.03.002

基于深度强化学习的切机控制策略研究

卢恒光¹, 林碧琳², 温步瀛²

1.福建华电万安能源有限公司, 福建龙岩 364000
2.福州大学电气工程与自动化学院, 福建福州 350116

收稿日期:2022-07-08 出版日期:2023-03-30 发布日期:2023-04-11
作者简介:卢恒光(1969—),男,高级工程师,主要从事电力安全生产工作。|林碧琳(1997—),女,硕士研究生,研究方向为基于强化学习的暂态稳定切机控制。|温步瀛(1967—),男,教授,博士,研究方向为电力系统优化运行和风电并网技术。
基金资助:
^*福建省自然科学基金项目(2022J01113)

Research on Generator Tripping Control Strategy Based on Deep Reinforcement Learning

LU Hengguang¹, LIN Bilin², WEN Buying²

1. Fujian Huadian Wan’an Energy Co.,Ltd., Longyan 364000, China
2. School of Electrical Engineering and Automation, Fuzhou University, Fuzhou 350116, China

Received:2022-07-08 Online:2023-03-30 Published:2023-04-11

摘要/Abstract

摘要：

电力系统受到大扰动后会进入紧急运行状态,必须及时采取紧急控制措施使系统恢复稳定运行。切机控制是维护系统稳定最有效且最常用的控制措施。针对传统基于策略表的控制方法在实际应用中存在故障不匹配的问题,提出了一种基于深度强化学习的电力系统暂态稳定切机控制决策方法。首先,引入深度确定性策略梯度(DDPG)算法,结合等面积定则,对算法各要素重新设计。其次,建立基于DDPG算法的切机控制决策模型。最后,利用PSA-BPA软件和Pycharm软件搭建单机-无穷大系统和IEEE39节点系统切机控制仿真模型,通过算例验证了所提方法的有效性。

关键词: 暂态稳定, 切机控制, 深度强化学习, 深度确定性策略梯度

Abstract:

The power system will enter an emergency state after being greatly disturbed.The emergency control measures must be taken in time to restore the system to stable operation.Generator tripping control is the most effective and common control measure to maintain system stability.Aiming at the problem of fault mismatch in practical application of the traditional control method based on cure table,a decision method of power system transient stability generator tripping control based on deep reinforcement learning is proposed.Firstly,the deep deterministic policy gradient (DDPG) algorithm is introduced.Every element of the algorithm is redesigned in combination with the equal area criterion.Secondly,the decision model of generator tripping control based on DDPG algorithm is established.Finally,using PSA-BPA and Pycharm software,the generator tripping control simulation models of the single machine-infinite system and an IEEE39 node system are established.The effectiveness of the proposed method is verified by an example.

Key words: transient stability, generator tripping control, deep reinforcement learning, deep deterministic policy gradient

中图分类号:

TM712

卢恒光, 林碧琳, 温步瀛. 基于深度强化学习的切机控制策略研究[J]. 电器与能效管理技术, 2023, 0(3): 11-15.

LU Hengguang, LIN Bilin, WEN Buying. Research on Generator Tripping Control Strategy Based on Deep Reinforcement Learning[J]. LOW VOLTAGE APPARATUS, 2023, 0(3): 11-15.

图/表 7

图1

图2

图3

表1

表2

表3

表4

参考文献 17

[1]	杨海晶, 贾学翠, 高东学, 等. 分布式储能在电力系统的应用及现状分析[J]. 电器与能效管理技术, 2018(19):12-15.
[2]	郑广宇, 黄开艺, 艾芊. 电力市场改革下大用户购电电量交易模型[J]. 电器与能效管理技术, 2019(16):84-88.
[3]	翁智敏, 朱振山, 温步瀛, 等. 高比例新能源电力系统研究综述[J]. 电器与能效管理技术, 2021(11):1-7.
[4]	ZHANG C, LI Y, YU Z, et al. A weighted random forest approach to improve predictive performance for power system transient stability assessment[C]//2016 IEEE PES Asia-Pacific Power and Energy Engineering Conference (APPEEC), 2016:1259-1263.
[5]	WANG H, CHEN Q, ZHANG B. A transient stability assessment combined model framework based on cost-sensitive method[J]. IET Generation,Transmission and Distribution, 2020, 14(12):2256-2262. doi: 10.1049/gtd2.v14.12
[6]	刘强. 限定电力系统暂态过程最大摇摆角的控制策略整定方法[J]. 电器与能效管理技术, 2018(19):12-15.
[7]	顾卓远, 汤涌, 张健, 等. 基于相对动能的电力系统暂态稳定实时紧急控制方案[J]. 中国电机工程学报, 2014, 34(7):1095-1102.
[8]	王怀远, 张保会, 杨松浩, 等. 基于相平面特性的切机切负荷紧急控制方法[J]. 中国电机工程学报, 2016, 36(15):4144-4152.
[9]	杨少波, 刘道伟, 安军, 等. 基于长短期记忆网络的电网动态轨迹趋势预测方法[J]. 中国电机工程学报, 2020, 40(9):2854-2866.
[10]	王彤, 刘九良, 朱劭璇, 等. 基于随机森林的电力系统暂态稳定评估与紧急控制策略[J]. 电网技术, 2020, 44(12):4694-4701.
[11]	YU T, ZHEN W G. A reinforcement learning approach to power system stabilizer[C]//2009 IEEE Power & Energy Society General Meeting, 2009:1-5.
[12]	ZHANG D, HAN X, DENG C. Review on the research and practice of deep learning and reinforcement learning in smart grids[J]. 中国电机工程学会电力与能源系统学报(英文), 2018, 4(3):362-370.
[13]	李红, 朱立位, 郭朝辉. 基于深度强化学习的混合储能系统最优控制[J]. 电器与能效管理技术, 2021(11):42-49.
[14]	乔骥, 王新迎, 张擎, 等. 基于柔性行动器-评判器深度强化学习的电-气综合能源系统优化调度[J]. 中国电机工程学报, 2021, 41(3):819-833.
[15]	WEI F, WAN Z, HE H. Cyber-Attack Recovery Strategy for Smart Grid Based on Deep Reinforcement Learning[J]. IEEE Transactions on Smart Grid, 2020, 11(3):2476-2486. doi: 10.1109/TSG.5165411
[16]	HUANG Q, HUANG R, HAO W, et al. Adaptive power system emergency control using deep reinforcement learning[J]. IEEE Transactions on Smart Grid, 2020, 11(2):1171-1182. doi: 10.1109/TSG.5165411
[17]	刘威, 张东霞, 王新迎, 等. 基于深度强化学习的电网紧急控制策略研究[J]. 中国电机工程学报, 2018, 38(1):109-119.

项目	单机无穷大系统	IEEE39节点系统
网络层数/层	3	4
网络神经元个数/个	128,64	512,128,64
网络学习率/p.u.	0.000 1,0.001	0.000 5,0.001
最大训练次数/次	600	1 500

项目	单机无穷大系统	IEEE39节点系统
故障类型	三相短路	三相短路
故障线路	输电线路1	21-22
故障发生率/%	50	50
故障持续时间/周波	13、13.5、14、14.5	14.5、15、15.5、16、16.5

故障持续时间/ 周波	临界切机量/p.u.	训练400次		训练600次
故障持续时间/ 周波	临界切机量/p.u.	切机量/p.u.	相对误差/%	切机量/p.u.	相对误差/%
13	0.042	0.062 8	49.52	0.055 4	31.91
13.5	0.257	0.284 2	10.58	0.270 9	5.41
14	0.488	0.587 2	20.28	0.574 9	17.76
14.5	0.738	0.761 5	3.18	0.753 2	2.06

故障持续时间/ 周波	临界切机量/p.u.	训练1 000次		训练1 500次
故障持续时间/ 周波	临界切机量/p.u.	切机量/p.u.	相对误差/%	切机量/p.u.	相对误差/%
14.5	0.100	0.140 5	40.50	0.116 2	16.20
15	0.240	0.336 3	40.13	0.258 0	7.50
15.5	0.392	0.495 0	26.28	0.399 3	1.86
16	0.564	0.696 2	23.44	0.608 8	7.94
16.5	0.772	0.876 3	13.51	0.804 5	4.21

基于深度强化学习的切机控制策略研究

Research on Generator Tripping Control Strategy Based on Deep Reinforcement Learning

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 17

相关文章 2

编辑推荐

Metrics

本文评价

[1]	胡新雨, 郁海彭, 何智, 赵缪敏, 邢松尧, 张进伟. 基于人工智能的变电站倒闸智能防误技术研究与应用[J]. 电器与能效管理技术, 2024, 0(6): 70-79.
[2]	李红, 朱立位, 郭朝辉. 基于深度强化学习的混合储能系统最优控制[J]. 电器与能效管理技术, 2021, 0(11): 42-49.