[发明专利]一种基于大数据技术的图形化的数据质量评测的装置及方法

说明书

技术领域

本发明涉及设备监测分析应用领域，具体涉及到一种基于大数据技术的图形化的数据质量评测的装置及方法。

背景技术

随着智能电网的迅猛发展，电力系统已经开始迈向能源互联网和“大数据”时代，电力行业大量运行数据日益呈现体量大、类型多、价值高等特征，数据分析处理能力落后与数据快速增长之间的矛盾将更加突出；随着数据量、数据类型的不断增多，也出现数据分析性能瓶颈、缺少数据分析挖掘的高级方法、非结构化数据尚缺乏有效利用等问题，这制约了电力行业信息化从数字化向智能化的发展。能源互联网时代的大数据关键技术包括数据采集、传输、存储、质量管理、融合共享和深度挖掘等多个方面。

电力行业中历史业务数据收集和分析、实时或准实时数据的即时分析是电力行业中信息化建设过程中比较重要的内容，它需要一套完整、稳定、契合实际业务场景的大数据分析装置的解决方案，对设备故障预警等实时分析类业务场景提供稳定可靠的底层数据支撑。

近年来，随着云计算、大数据、机器学习、数据挖掘等IT技术迅猛发展，分布式存储、高性能计算在理论研究和技术实践层面均获得了关键性突破，业界涌现出了一批以Hadoop为代表的大数据处理和应用解决方案。

Hadoop是一个可扩展开源软件单元，能够对大数据进行可靠的分布式处理，Hadoop的单元最核心的设计包括HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。HDFS是一个分布式文件系统，具有低成本、高可靠性性、高吞吐量的特点。MapReduce是一个变成模型和软件单元，它可以极大地简化大规模数据的处理过程。Spark是一种分布式大数据处理工具，本身不提供数据存储功能，它可以运行在Hadoop的HDFS或其它的分布式文件系统之上，Spark的设计初衷就是为了解决Hadoop MapReduce反复读写文件系统从而效率低下的问题，它通过构建弹性分布式数据集(RDD)结构，支持数据内存驻留，实现了In-memory MapReduce架构，在特定应用场景下弥补MapReduce的不足。Hadoop、Spark等通用的开源技术组件在功能完整性、运行稳定性方面存在一定的局限性，而基于Hadoop衍生的一些商用大数据平台又跟电力业务场景的实际需求存在偏差，因而，深度分析研究电力行业的业务需求，异构数据源的整合、集成是企业信息化建设过程经常遇到的一个现实问题，随着数据量的急剧增加，特别是非结构化数据的增加，传统的数据仓库技术和数据抽取工具在数据质量评测方面的表现捉襟见肘，无法满足海量异构数据和杂乱低质量数据的数据处理性能要求，构建一种基于大数据技术的图形化的数据质量评测装置及方法，具有深远的意义和较强的利用价值。

数据是电力企业数据中心的重要资产，获取并维护高质量数据对高效的IT和业务运营至关重要，有效收集数据、分析数据、利用数据的前提就是加强数据质量管理。面对复杂度不断增加的海量业务数据如何全面保证数据质量，是有效挖掘数据价值过程中不可回避的关键课题。

数据质量保障是大数据成功的关键和基础，数据质量管理(Data Quality Management)涉及数据的计划、获取、存储、共享、维护、应用、消亡等生命周期的各个阶段，在任何阶段可能引发数据质量问题的隐患都必须被实行识别、度量、监控、预警等一系列措施，始终保持对于数据质量问题的规避，从而保障对于大数据的有效分析和充分利用，真正让企业从大数据应用中获得利益。数据质量问题可以归结为“缺、重、散、慢、差”，这些因素严重影响了大数据分析及应用效果，也是目前电力数据质量管理面临的严峻形势。数据质量管理作为横在电力行业大数据发展面前的一座大山，是每个电力信息化服务商在发展大数据时都必须要面对和解决的问题，相关标准体系及配套工具的研发势在必行。

结合大数据背景下的数据质量评价标准和管理体系，运用大数据处理技术提升质量检核工作效率，为数据治理提供决策依据。研究企业数据管理成熟度模型(Data Management Maturity，DMM)，基于发现问题、解决问题、避免问题的思路探索大数据背景下的数据质量管理体系，研发评估、防止和修复数据缺陷的数据质量管理和改进机制，面向完整性、一致性、准确性、及时性等评价维度，基于大数据处理技术配合元数据系统研发数据质量评估(Data Quality Assessment)系统。