基于改进Q学习的虚拟电厂参与调峰辅助服务策略

doi:10.16628/j.cnki.2095-8188.2023.03.001

电器与能效管理技术 ›› 2023, Vol. 0 ›› Issue (3): 1-10.doi: 10.16628/j.cnki.2095-8188.2023.03.001

• 研究与分析 • 下一篇

基于改进Q学习的虚拟电厂参与调峰辅助服务策略

陈聪磊¹, 钟继涵¹, 曹晓波², 罗晓东³, 徐俊¹

1.国电南瑞科技股份有限公司, 江苏南京 210032
2.国网河北雄安新区供电公司, 河北保定 071799
3.国网雄安综合能源服务有限公司, 河北保定 071800

收稿日期:2022-08-21 出版日期:2023-03-30 发布日期:2023-04-11
作者简介:陈聪磊(1986—),男,工程师,主要从事电力系统及其自动化、综合能源研究。|钟继涵(1995—),男,工程师,主要从事电力系统及其自动化、综合能源系统信息化建设研究。|曹晓波(1984—),男,高级工程师,主要从事综合能源、电力市场交易研究。
基金资助:
^*国家自然科学基金项目(61633016)

Auxiliary Service Strategy of Virtual Power Plant Participating in Peak Shaving Based on Improved Q-Learning

CHEN Conglei¹, ZHONG Jihan¹, CAO Xiaobo², LUO Xiaodong³, XU Jun¹

1. State Grid NARI Technology Co.,Ltd., Nanjing 210032, China
2. State Grid Hebei Xiong’an New Area Electric Power Supply Company,Baoding 071799, China
3. State Grid Xiong’an Integrated Energy Service Co.,Ltd., Baoding 071800, China

Received:2022-08-21 Online:2023-03-30 Published:2023-04-11

摘要/Abstract

摘要：

新型电力系统推进建设中,大规模光伏并网及优先消纳可能会导致电网阻塞而加剧火电机组调峰压力,使其运行工况恶化和成本增加。为此提出虚拟电厂参与系统日前深度调峰辅助服务策略。首先,分析计算电动汽车群组成的虚拟电厂调峰特性和运行费用,并根据火电机组的煤耗和排放数据,计算供电煤耗和建立环保指标;其次,基于运行费用和指标,以火电机组调峰裕度为优化目标,运用模拟退火改进的Q学习求解机组深度调峰电量和分摊费用。算例结果表明,虚拟电厂参与系统调峰可提高调峰灵活性和降低运行费用,缓解火电机组调峰压力。

关键词: 虚拟电厂, 调峰辅助服务, 改进Q学习, 光伏消纳, 协调调度

Abstract:

In the construction of the new power system,the grid connection and preferential consumption of large-scale photovoltaic power may lead to grid congestion and aggravate the peak shaving pressure of thermal power units,which will worsen their operating conditions and increase their costs.Aiming at this problem,the virtual power plant participation system in the day-to-day in-depth peak shaving auxiliary service strategy is proposed.First,the peak shaving characteristics and operating costs of the virtual power plant composed of electric vehicle groups are analyzed and calculated.According to the coal consumption and emission data of thermal power units, the coal consumption for power supply is calculated and the environmental protection indicators are established.Secondly,based on the operating costs and indicators,taking the peak shaving margin of thermal power units as the optimization goal, the simulated annealing improved Q-learning is used to solve the deep peak shaving capacity and cost allocation. The results show that the participation of virtual power plants in system peak shaving can improve the flexibility of peak shaving, reduce operating costs, and relieve the peak shaving pressure of thermal power units.

Key words: virtual power plant, peak shaving auxiliary services, improved Q-learning, photovoltaic consumption, coordinated dispatching

中图分类号:

TM62

陈聪磊, 钟继涵, 曹晓波, 罗晓东, 徐俊. 基于改进Q学习的虚拟电厂参与调峰辅助服务策略[J]. 电器与能效管理技术, 2023, 0(3): 1-10.

CHEN Conglei, ZHONG Jihan, CAO Xiaobo, LUO Xiaodong, XU Jun. Auxiliary Service Strategy of Virtual Power Plant Participating in Peak Shaving Based on Improved Q-Learning[J]. LOW VOLTAGE APPARATUS, 2023, 0(3): 1-10.

图/表 11

图1

图2

图3

图4

表1

图5

图6

图7

图8

图9

图10

参考文献 22

[1]	杨丽君, 梁旭日, 王心蕊, 等. 考虑调峰权交易提高风电二次消纳能力的热电联合经济调度[J]. 电网技术, 2020, 44(5):1872-1880.
[2]	付中洲, 袁铁江, 皮霞. 含储热的电热联合系统优化调度模型[J]. 电器与能效管理技术, 2018(14):63-68,78.
[3]	应益强, 王正风, 吴旭, 等. 计及新能源随机特性的电网深度调峰多目标策略[J]. 电力系统保护与控制, 2020, 48(6):34-42.
[4]	徐志成, 张富强, 陈世喆, 等. 多区域电力系统协调调峰及峰谷互济运行方式分析[J]. 中国电力, 2018, 51(8):64-69.
[5]	李章溢, 房凯, 刘强, 等. 储能技术在电力调峰领域中的应用[J]. 电器与能效管理技术, 2019(10):69-73.
[6]	韦嘉睿, 江岳文. 储能参与辅助服务补偿机制及多商业模式运行研究[J]. 电器与能效管理技术, 2020(5):78-85.
[7]	任景, 薛晨, 马晓伟, 等. 计及新能源资源分级的柔性调度模型预测控制[J]. 智慧电力, 2020, 48(9):30-36.
[8]	薛晨, 任景, 张小东, 等. 含虚拟储能的新能源高渗透电网深度调峰备用决策模型[J]. 中国电力, 2019, 52(11):35-43.
[9]	宁阳天, 罗翠云, 赵梓淇, 等. 计及核电调峰的新能源电力系统两阶段随机优化调度[J]. 电力工程技术, 2020, 39(2):66-74.
[10]	李宇星, 鲁宇, 李昊, 等. 基于最小运行成本的储能参与电网辅助调峰容量配置及优化运行方法[J]. 电器与能效管理技术, 2021(11):22-29.
[11]	李军徽, 张嘉辉, 穆钢, 等. 储能辅助火电机组深度调峰的分层优化调度[J]. 电网技术, 2019, 43(11):3961-3970.
[12]	赵晋泉, 杨余华, 孙中昊, 等. 考虑虚拟电厂参与的深度调峰市场机制与出清模型[J]. 全球能源互联网, 2020, 3(5):469-476.
[13]	李宏仲, 王磊, 林冬, 等. 多主体参与可再生能源消纳的Nash博弈模型及其迁移强化学习求解[J]. 中国电机工程学报, 2019, 39(14):4135-4150.
[14]	刘金华, 柯钟鸣, 周文辉. 基于强化学习的微电网能源调度策略及优化[J]. 北京邮电大学学报, 2020, 43(1):28-34.
[15]	李红, 朱立位, 郭朝辉. 基于深度强化学习的混合储能系统最优控制[J]. 电器与能效管理技术, 2021(11):42-49.
[16]	王亚东, 崔承刚, 钱申晟, 等. 基于深度强化学习的微电网储能调度策略研究[J]. 可再生能源, 2019, 37(8):1220-1228.
[17]	VINÍCIUS-DE C N P, FRANCATO A L, POWELL W B. Reinforcement learning for electricity dispatch in grids with high intermittent generation and energy storage systems:A case study for the Brazilian grid[J]. International Journal of Energy Research, 2020(3):8635-8653.
[18]	JI Y, WANG J, XU J, et al. Real-time energy management of a microgrid using deep reinforcement learning[J]. Energies, 2019, 12(12):1-21. doi: 10.3390/en12010001
[19]	张延. 考虑源荷随机性的跨区互联电网调度学习优化[D]. 合肥: 合肥工业大学, 2019.
[20]	唐昊, 刘畅, 杨明, 等. 考虑电网调峰需求的工业园区主动配电系统调度学习优化[J/OL]. 自动化学报:1-12[2020-07-12].https://doi.org/10.16383/j.aas.c190079.
[21]	张卫国, 陈良亮, 成海生, 等. 基于电动汽车供电资源态势感知的台区负荷弹性调度策略[J]. 电力建设, 2020, 41(8):48-56. doi: 10.12204/j.issn.1000-7229.2020.08.007
[22]	马大卫, 王正风, 何军, 等. 安徽煤电深度调峰下机组煤耗和污染物排放特征研究[J]. 华电技术, 2019, 41(12):1-7.

运行模式	调峰费用/万元	供电煤耗均值/kg	环保排放均值 /(mg·m^-3)	调峰裕度均值/p.u.
未优化	134.066 1	1.009×10⁵	17.405	0.863 0
模式1	125.013 6	1.082×10⁵	16.753	1.418 1
模式2	88.349 5	1.591×10⁵	12.754	1.886 4
模式3	112.218 8	1.544×10⁵	15.132	1.530 8

基于改进Q学习的虚拟电厂参与调峰辅助服务策略

Auxiliary Service Strategy of Virtual Power Plant Participating in Peak Shaving Based on Improved Q-Learning

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 22

相关文章 4

编辑推荐

Metrics

本文评价

[1]	杨光明. 新型电力系统下虚拟电厂研究[J]. 电器与能效管理技术, 2024, 0(11): 65-72.
[2]	魏晓钢, 李兆泽, 张继红, 吴振奎, 张自雷. 考虑多元柔性负荷的虚拟电厂分层优化调度[J]. 电器与能效管理技术, 2024, 0(11): 73-81.
[3]	夏耀杰. 考虑不确定因素的虚拟电厂竞价优化策略[J]. 电器与能效管理技术, 2022, 0(9): 45-50.
[4]	彭雪莹, 黄博文, 潘轩, 刘镂志, 殷旭锋, 周任军. 基于虚拟电厂及负荷聚集商的用户侧储能适应性研究[J]. 电器与能效管理技术, 2020, 0(10): 21-26.