[发明专利]企业级数据中心的数据处理方法及装置

说明书

技术领域

本发明涉及一种计算机领域，特别是涉及一种企业级数据中心的数据处理方法及装置。

背景技术

通过“十一五”信息化建设，电力行业各项业务已与信息化初步融合，信息系统内业务数据逐渐丰富，数据共享需求迫切。但是数据质量及数据共享利用水平仍有待提升，一是数据对分析决策支持度低，数据存在一数多源、统计口径不一致的现象；二是数据对生产经营管理的支持度有待提高，数据质量参差不齐，部分数据无系统支持，缺乏统一标准和明确的数据认责；三是一线人员数据录入工作量大，数据录入重复，业务功能重复；四是数据质量管控相对滞后，管控工作片段化，没有形成完整的数据质量管控体系和全面有效的数据质量保障机制，制约数据价值的充分发挥。因此，有必要围绕企业数据生命周期，实现从业务系统数据入数据中心、到数据诊断、再到质量评估的一个数据质量的全程管控的模式结构，夯实数据基础，改善数据质量，保障数据的准确、及时、有效和可信，最终实现数据资产管理和使用标准化，最大限度的发挥数据资产的价值，提升数据中心的服务能力。

如何提高数据质量，当前主要有两种主流的技术方案：

1）作为ETL整体解决方案一部分的数据质量管理，如IBM的quality Stage，这种解决方案比较关注的是数据从联机交易系统通过抽取、转换到装载入数据中心过程中的数据质量问题。

2）与元数据管理解决方案结合的数据质量管理，如朗新公司的quality one 3.0。这种解决方案主要以一组组关键业务指标为中心，通过部署在各个数据源的智能代理程序收集关于该指标的信息，然后由后台质量管理组件按照一定的规则进行判断，从而识别潜在的、隐藏的数据质量问题。

这两种方案都有较大的局限性：对于第一种方案，首先往往无法覆盖到全企业数据环境，其次很难覆盖到整个数据质量生命管理的全过程；对于第二种方案，一方面需要大量的定制化开发，撰写并部署大量的智能代理程序，另一方面需要人工做大量的分析和处理工作，工作强度和难度较大。

发明内容

鉴于上述问题，提出了本发明以便于提供一种克服上述问题或者至少部分地解决上述问题的企业级数据中心的数据处理方法及装置。

依据本发明的第一个方面，提供了一种企业级数据中心的数据处理方法，包括：

对所述数据中心的数据接口进行监控，获取所述数据接口输入或输出的第一数据；

获取所述数据中心中已存储的第二数据；

根据预设的数据质量检测规则，对所述数据中心中所有第一数据和第二数据，得出各数据对应的质量检测结果；

根据数据关联关系判定规则，确定所述数据中心中所有第一数据和第二数据中各数据之间的关联关系；

根据所述关联关系，对所有所述数据的质量检测结果进行质量检测结果的归并处理，得出归并后的检测结果。

依据本发明的第二个方面，提供了一种企业级数据中心的数据处理装置，包括：

监控模块，用于对所述数据中心的数据接口进行监控，获取所述数据接口输入或输出的第一数据；

获取模块，用于获取所述数据中心中已存储的第二数据；

检测模块，用于根据预设的数据质量检测规则，对所述数据中心中所有第一数据和第二数据，得出各数据对应的质量检测结果；

确定模块，用于根据数据关联关系判定规则，确定所述数据中心中所有第一数据和第二数据中各数据之间的关联关系；

归并模块，用于根据所述关联关系，对所有所述数据的质量检测结果进行质量检测结果的归并处理，得出归并后的检测结果。

借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：

1、本发明实施例提供的技术方案覆盖企业数据从数据源头到数据接口加工过程处理、到数据质量诊断、再到数据质量评估、最后到数据质量问题分析与处理策略的全过程，涵盖数据的产生、加工、应用的全过程。对企业级数据中心的数据质量的全方位控制与提升可以起到有益的促进效果。

2、采用本发明实施例提供的技术方案，用户通过简单的操作即可实现数据质量问题的自动诊断与报告，极大的减轻了企业数据质量管理人员的工作量，提高了效率。

3、本发明实施例根据各数据之间的关联关系，对所有所述数据的质量检测结果进行质量检测结果的归并处理，得出归并后的检测结果，以对数据进行进一步的分析，提供系统、用户、表三级技术，通过全链分析对问题快速定位，从而为运维人员解决问题增加效率，节省时间，也为公司节约人力资源成本。