Research and Analysis on Data Quality Diagnosis Method Based on Multi-Source Measuring Information

doi:10.16628/j.cnki.2095-8188.2024.05.005

Abstract

Abstract:

The rapid expansion of the service scope of the power grid control system has caused the explosive growth in power dispatching data.Data quality issues such as consistency and accuracy of measuring data have become increasingly prominent.Therefore,how to quickly and effectively realize the measuring data quality diagnosis and evaluation of multi-level power grid control has become an urgent issue.Focusing on the business requirements of multi-level power grid dispatching and control operation management,a measuring data verification algorithm considering long time scale power balance and multi-source correlation analysis is proposed to realize the rapid research and judgment of abnormal data such as power imbalance and multi-source inconsistency.Secondly,a measuring data quality evaluation method based on fuzzy analytic hierarchy process is proposed,and a comprehensive evaluation system of multi-source measuring data quality for grid control based on Spark is constructed,which can provide technical support for deep mining of data value and lean management of the control in large power grids.

Key words: multi-level grid control, long time scale power balance, multi-source correlation analysis, fuzzy analytic hierarchy process, comprehensive evaluation of data quality

CLC Number:

TM73

XIE Lin, TAO Lei, YE Ruili, FENG Qiong, FENG Chaohan, ZHANG Zhoujie. Research and Analysis on Data Quality Diagnosis Method Based on Multi-Source Measuring Information[J]. LOW VOLTAGE APPARATUS, 2024, 0(5): 36-45.

Figures/Tables 11

References 30

[1]	许洪强. 调控云架构及应用展望[J]. 电网技术, 2017, 41(10):3104-3111.
[2]	刘道伟, 李柏青, 邵广惠, 等. 基于大数据及人工智能的大电网智能调控系统框架[J]. 电力信息与通信技术, 2019, 17(3):14-21.
[3]	周凯, 马智远, 许中. 基于大数据技术的智能电网态势感知分析[J]. 电器与能效管理技术, 2018,(21):70-76.
[4]	张雪莹, 赖来源, 曾庆彬, 等. 基于模糊评价的智能用电新技术成熟度模型[J]. 广东电力, 2022, 35(3):69-78.
[5]	王新宇, 王相杰, 张明月, 等. 基于改进自适应免疫遗传算法的智能电网虚假数据攻击检测方法[J]. 浙江电力, 2023, 42(10):84-89.
[6]	黄彦全, 肖建, 李云飞, 等. 基于量测数据相关性的电力系统不良数据检测和辨识新方法[J]. 电网技术, 2006, 30(2):70-74.
[7]	崔英男, 王勇. 基于量测量突变检测与拓扑约束协同的不良数据检测[J]. 上海电力学院学报, 2018, 34(1):59-65.
[8]	张亮. 电力调度数据中心数据质量问题研究[J]. 华东电力, 2009, 37(3):403-406.
[9]	雷霆, 朱传柏, 黄太贵, 等. 基于数据平台的调度数据质量辨识方法[J]. 电力系统自动化, 2012, 36(12):71-75.
[10]	许洪强, 孙世明, 葛朝强, 等. 电网调控实时数据平台体系架构及关键技术研究与应用[J]. 电力系统自动化, 2019, 43(22):157-164.
[11]	许洪强. 面向调控云的电力调度通用数据对象结构化设计及应用[J]. 电网技术, 2018, 42(7):2248-2254.
[12]	许洪强, 蔡宇, 万雄, 等. 电网调控大数据平台体系架构及关键技术[J]. 电网技术, 2021, 45(12):4798-4807.
[13]	王蕊, 俞凌枫, 朱斌, 等. 大数据和机器学习技术在电缆运维中的应用研究[J]. 电器与能效管理技术, 2020(12):114-118.
[14]	PIPINO L L, LEE Y W, WANG R Y. Data quality assessment[J]. Communciations of the ACM, 2002, 45(4):211-218.
[15]	韦惠慧, 刘向军. 高压直流继电器性能模糊综合评估方法[J]. 电器与能效管理技术, 2020(9):30-35,39.
[16]	朱凯, 李雅晴, 胡振华, 等. 基于海量运行数据的主动配电网运行健康水平综合评价方法[J]. 电器与能效管理技术, 2023(3):46-53.
[17]	秦川, 姜燕. 基于经济等效时间考虑电压暂降的供电可靠性评估方法研究[J]. 电力电容器与无功补偿, 2022, 43(1):144-150.
[18]	陈力, 汤霖, 左中秋, 等. 基于变异系数法和灰色关联度的高压并联电容器综合评价研究[J]. 电力电容器与无功补偿, 2023, 44 (5):27-32.
[19]	KANDEL S, PARIKH R, PAEPCKE A, et al. Profiler:integrated statistical analysis and visualization for data quality assessment[C]∥Advanced Visual Interfaces ACM, 2012(5):547-554.
[20]	周小明, 陈郑平, 陶蕾, 等. 基于电力调控大数据平台的指标展示应用研究[J]. 电力信息与通信技术, 2016, 14(12):19-23.
[21]	王永明, 陈宇星, 殷自力, 等. 基于大数据分析的电力用户行为画像构建方法研究[J]. 高压电器, 2022, 58(10):173-179,187.
[22]	白雨佳, 李靖, 高升. 基于最优K均值聚类算法的负荷大数据任务均衡调度研究[J]. 电力电容器与无功补偿, 2022, 43(6):85-91.
[23]	刘栋, 蒋正威, 朱英伟, 等. 基于LDSAD的电力监控系统网络流量异常检测[J]. 浙江电力, 2022, 41(3):87-92.
[24]	姚海成, 李豹, 黄兆棽. 基于随机森林算法的电力系统小干扰稳定评估校正[J]. 广东电力, 2023, 36(7):60-69.
[25]	韩笑, 狄方春, 刘广一, 等. 应用智能电网统一数据模型的大数据应用架构及其实践[J]. 电网技术, 2016, 40(10):3206-3212.
[26]	严英杰, 盛戈皞, 刘亚东, 等. 基于滑动窗口和聚类算法的变压器状态异常检测[J]. 高电压技术, 2016(12):330-335.
[27]	邢金, 宋磊, 侯贝贝, 等. 电力系统厂站端母线功率不平衡原因分析及解决方法研究[J]. 华北电力技术, 2015(9):53-57.
[28]	严浩, 裘杭萍, 刁兴春, 等. 基于改进层次分析的数据质量综合评估[J]. 计算机应用, 2014, 34(S1):287-290,297.
[29]	王庆泽, 张守强, 艾茂民, 等. 基于层次分析法-德尔菲法的配电网不停电作业能力评估和分析[J]. 电器与能效管理技术, 2022(4):70-75.
[30]	许洪强, 姚建国, 南贵林, 等. 未来电网调度控制系统应用功能的新特征[J]. 电力系统自动化, 2018, 42(1):1-7.

准则维度	问题描述	原因描述	比例/%
完整性	测点缺失	模型维护不全	23
及时性	量测值缺失	设备故障、转发/接收延迟、网络故障等	45
准确性	1.模型和运行不匹配; 2.量测值恒0; 3.量测值不合理; 4.量测值跳变	模型维护错误、ID映射错误、设备故障、虚假数据、采集误差	19
一致性	1.多源相差恒定值; 2.多源互为反向; 3.单源量测值恒定; 4.多源不一致	采集设备差异、数据转发/接收错误、采集时钟不同步	13

时间	4月13日		4月14日		4月15日		4月16日
时间	量测值	空间距离值	量测值	空间距离值	量测值	空间距离值	量测值	空间距离值
13:24	28 966	11.0	28 661	9.6	27 557	79.6	27 128	24.4
13:25	28 939	34.2	28 715	53.4	27 464	1 651 146.2	27 171	59.2
13:26	28 929	23.2	28 700	14.2	27 412	1 651 163.6	27 181	40.6
13:27	28 990	1.4	28 628	68.8	8 283 102	6 604 565.2	27 124	8.4
13:28	28 985	35.6	28 725	26.2	27 343	1 651 147.8	27 098	14.8
13:29	29 058	19.0	28 716	8.4	27 363	1 651 083.4	27 088	19.4
13:30	29 074	13.0	28 725	22.8	27 234	21.2	27 073	40.2

时间尺度	问题检出量/条	问题检出率/%
单个时间断面	173	0.58
1 d时间尺度	625	2.08
7 d时间尺度	716	2.39

数据对象	样本数据量	正常数据量	多源不一致数据量
电网	200	160	40
发电厂	300	240	60
断面	200	160	40
发电机	300	240	60
交流线路	400	320	80