国网电子商务有限公司 北京 100053
摘要:科学技术的发展迅速,当前我国已经迈入大数据时代,在这一形势背景下,电力企业也已通过多年信息化与智能化探索,在其发展的过程中产生了大量的业务数据,这些数据来源于电网运营管控的各个维度且数据海量、结构复杂,要想实现在新形势下的长远发展,就必须通过现代化先进技术实现对这些数据和信息的有效统计和分析,通过得到的分析结果为企业的进一步发展提供新的动力。为此,本文对于大数据挖掘技术在配电网中的实际应用进行了相关探究,希望能够为后续相关工作人员提供一定的参考和借鉴,有效推动我国电力行业在新形势下的健康可持续发展。
关键词:大数据挖掘技术;电力审计风险防范;应用研究
引言
随着电网调度运行业务的信息化建设,众多系统遍布在安全Ⅰ、Ⅱ、Ⅲ区,产生大量的业务数据。电网运行实时数据与电网操作数据体量庞大,在这些数据中存在诸多有价值的数据,而目前对于这些数据的分析、挖掘、预测及可视化展示均存在严重的不足。针对上述问题,本文在数据挖掘技术的基础上,建立了符合需求的电力系统数据分析与决策系统。该系统可通过对设备实时数据、设备历史数据、电网跳闸事件、告警信号等进行分析和挖掘,为调度运行人员提供智能化预测与辅助决策,包括极端天气电网风险趋势预警、电网小概率事件趋势预警、遥测值时序趋势预警、监控业务流程趋势预警等。研究电网在发、输、变、配等关键数据,为电力市场化改革提供依据。典型模块与典型集成两项测试验证了该系统的可行性,并成功利用所设计的系统将用电数据集,划分为5种不同的类别,为电力企业的进一步分析和制定相应电网调度计划提供重要参考。随着电力建设的加快以及数据量的不断增加,对于该系统的深层次研究与应用也将更有价值和意义。
1大数据审计开展情况
全业务数据中心建设。结合自身信息化发展需求和已有各专业领域信息系统建设成果数据资源,建成全业务数据中心,面向全业务范围、全数据类型、全时间维度数据提供统一的存储、管理与服务,完成企业全量业务数据汇集、数据分析统一服务的工作目标,实现业务高度融合、数据充分共享。全业务统一数据中心数据分析域如图1所示。2018年在前期工作的基础上,进一步开展夯实基础、数据扩充接入和资源在线纳管等工作,进一步规范数据存储和使用,更好地服务于大数据分析应用。截至2019年3月,共完成22套二级部署系统的接入,一级部署系统数据按需接入,业务数据接入总量达13.5TB。其中,结构化数据接入表2.2万张,数据总量5.1TB;采集量测数据共涉及7,796,798个设备,数据总量3.1T;非结构化数据总量5.3T。完成15套业务系统数据按照分系统数据仓库模型的规范化存储,为今后开展大数据分析应用奠定了基础。2.数字化审计平台建设。基于全业务数据中心大数据资源,公司于2018年启动数字化审计平台建设,打破原有专业系统间壁垒,应用全业务数据中心的海量数据资源,对数据字段进行分析清洗,以营销、财务、工程、物资重要业务领域审计需求为依托构建智能审计模型、展示审计结果,并对存在的疑点信息、资料明细进行具体业务数据的穿透查询。通过图形化看板直观展现在线智能审计相关工作成果,使审计问题和成果可视化,帮助管理决策层快速准确掌握持续审计工作情况,为管理决策提供数据支撑。
2大数据挖掘技术在电力企业配电网中的应用方式探究
在大数据时代发展背景下,电力企业在发展的过程中会产生比较大量的数据信息,要想实现企业的进一步发展,就需要对这些数据信息进行全面的搜集和分析,并从中挖掘出具有应用价值的数据信息,而对于那些目标不是很明确的情况可以选择从多个角度确定实际处理数据的方法。通过归档分类这些数据处理方案,可以明显发现大数据挖掘技术比较适用于我国电力企业的实际发展需求,并且还全面且高效地实现对各类数据的处理。
通过对大数据挖掘技术应用的方式进行详细的分析和研究可以发现,大数据挖掘技术主要包括以下三个重要的层次:第一层次是分析数据整理层信息;第二层次是分析数据来源层信息;第三层次是分析数据管理层信息,具体分析如下。
2.1分析数据整理层信息
对于电力企业在实际运行过程中所产生的大量数据信息,在使用大数据挖掘技术对其进行处理的过程中主要是以数据来源内容交叉作为重要基础,将相关数据信息进行归类以及进一步总结,但是在实际工作的过程中往往会搜集到很多冗余且没有相关性的数据信息,所以相关工作人员需要对这些获得的数据进行重塑以及二次解析,从而进一步提高数据处理方法的高效性,最终保证数据处理工作具有良好的质量。电力企业相关运营信息数据在经过处理之后的结构主要包括以下三大类:第一类是非结构化数据;第二类是结构化数据;第三类是半结构化数据。大数据挖掘技术能高效实现对结构化数据进行过滤,将数据结构中所含有的无关数据内容剔除掉,并进一步结合非结构化数据信息以及半结构化数据信息,以相应的技术标准和要求作为主要参照,实现将这些数据转化为机器语言或相关索引等信息的目的。例如,本文所引用案例中,该电力企业在实际运行的过程中,将使用用户的评价以及相关运行资料转换功能使相应的数据直接反映到了标准值上,进而形成了比较系统的一种语言类型,有效提高了工作的效率和质量。
2.2分析数据来源层信息
在分析数据来源层信息的时候,通常会借助下述设备:其一是自动记录系统;其二是互联网;其三是移动设备等,特别是在运行存储层的时候,电力企业相关管理工作人员还需要综合考虑外部因素对整个数据处理环节所产生的影响作用。
2.3分析数据管理层信息
分析数据管理层信息的主要作用就是存储相关信息,并进一步对这些数据进行整合和归纳,接下来数据仓库就会根据主体内容的不同确定其所具有的设计属性集,尽可能地保证数据处理的准确性,特别在实际应用主题数据库时往往会通过粗糙集属性的应用剔除其中所含有的冗余数据,最后再对数据进行集合和分析总结归纳操作。
结语
在当前审计环境下,大数据分析技术在审计过程中必将发挥越来越重要的作用。为适应这一形势,需进一步做好以下工作:一是全面提升数据质量。一切数据分析、数据挖掘的前提都是真实、高质量的数据。当数据量呈几何级数增长、数据源来自多系统且各系统之间接口规范不统一时,势必给数据质量带来一定隐患,因此须针对所分析的系统数据进行稽核,确保数据真实性,同时提高审计人员对数据质量的重视程度。二是转变审计思路。随着公司对内部审计的要求逐年提升,内部审计方法应由单一性向多样化转变。文中介绍了数据挖掘技术的基本原理及系统组成。同时,对电网数据的挖掘过程进行了分析。在数据挖掘算法的选择上选用了适用性好,准确度高的K-均值聚类算法作为设计电力系统数据分析与决策系统的数据分析预处理算法。通过系统的典型模块和典型集成的测试,验证了本系统架构的可靠性。最后,通过用户用电数据的处理与分析,系统成功地按照用电规律,将用电户分为了闲置房屋用户、上班族用户、老人用户、老人和上班族用户以及商业用户这5类,从而为电力企业的进一步利用和分析数据提供了重要的支持。
参考文献:
[1]李翼,孟莉.大数据条件下的数据挖掘技术及应用[J].电子技术与软件工程,2017(18):198
[2]卢盛继.大数据时代下数据挖掘技术与应用[J].数码世界,2017(2):44
[3]肖明.大数据时代下数据挖掘技术在企业中的应用[J].中国管理信息化,2015(2):58
[4]杨华坤.大数据时代数据挖掘技术探讨[J].电脑编程技巧与维护,2015(24):78-79