[发明专利]一种基于数据召测的数据同步与分析系统

说明书

技术领域

本发明涉及一种实时数据处理方法，具体来说涉及一种基于数据召测的数据同步与分析系统。

背景技术

随着计算机技术的快速发展，越来越多的企业和政府部门逐渐加大了信息化系统的建设力度。但是为了避免重复建设和数据冗余，新建设的信息化系统需要和原有的其它信息化系统进行数据同步。这里说的数据同步不是一次性的数据导入和导出，而是按照特定的业务需求，某些数据需要每小时同步一次，某些数据需要每天同步一次，某些数据需要每月同步一次。此外，数据同步还必须考虑到跨数据库(如Oracle、Sybase、DB2等)跨网络。

比较常用的数据同步方法就是定时抽取、主动上送。实现过程如下：有两个信息化系统S1和S2(下同)，其中S1需要按照一定的业务需求向S2传送数据。那么在S1的接口机上部署一套数据抽取程序(含压缩程序)，主要负责数据抽取和压缩，在S2的接口上部署一套数据入库程序(含解压程序)，主要负责数据解压和入库。S1的接口机和S2的接口机通过FTP进行压缩文件的传输。这种定时抽取、主动上送的数据同步方法存在以下两个方面的问题：

·数据实时性差且难以监控

系统S1存储的原始数据可能是硬件采集器采集的，也有可能是系统自身生成的，又或者是触发存储过程或定时调度存储过程生成的。不论哪一种情况，数据生成或插入时间的不确定性就决定了定时抽取需要延迟数个小时才能确保抽取到数据。这样就会出现系统S1有数据，而系统S2没有数据展示的数据实时性差的问题。此外，从S1的接口机进行数据抽取和压缩，再通过FTP到S2的接口机进行数据解压和入库，如果中间哪一个环节出了问题，系统S2也会没有数据。

·维护工作量大且工作效率低

对于系统S1的数据抽取程序，需要有专人进行维护。特别地，如果系统有数据补录或数据修复，很难及时地进行数据重抽，因为数据补录是指定的责任人，而数据修复是其它的责任人等。另一方面，系统S2发现了数据异常或数据缺失，需要联系S1的责任人进行处理，但很多情形下系统S1中的数据已经进行了修复。这样来来往往不仅维护工作量大，而且工作效率也非常低。

发明内容

本发明的目的在于提供一种基于数据召测的数据同步与分析系统，本系统通过细化技术特性和业务需求，以数据召测的形式进行数据同步，在提高数据响应时间的同时，在较大程度上减少了维护工程量，提高了数据同步的效率。

本发明的目的可通过以下的技术措施来实现：

一种基于数据召测的数据同步与分析系统，包括：数据源同步子系统、同步辅助子系统和数据分析子系统；所述数据源同步子系统按照数据交互协议与同步辅助子系统进行数据交互，所述数据分析子系统对同步辅助子系统获取的数据进行分析和综合展现；

所述数据源同步子系统包含召测服务器、文件压缩器和FTP服务器；所述同步辅助子系统包括召测客户端、FTP客户端、文件解压器、文件入库器；

所述召测服务器负责侦听来自召测客户端的数据召测请求，对于小数据量的召测请求，则直接实时返回召测结果；对于大数据量的召测请求，则生成相应的文本文件，然后通过文件压缩器生成压缩文件后以FTP方式上传至FTP服务器；

所述召测客户端根据实际需求或者数据分析子系统的配置向召测服务器发送召测请求；对于实时返回的召测结果，由召测客户端进行数据入库；对于召测服务器上传到FTP服务器上的压缩文件，由所述FTP客户端进行实时扫描和获取，然后由文件解压器进行解压，最后由文件入库器进行数据入库。

所示数据分析子系统对数据进行分析和综合展现，且，如果数据缺失或者异常，则所述数据分析子系统对缺失或异常的数据进行召测。

所述实时返回的招测结果和压缩文件均按照数据交互协议进行封装。

所示数据交互协议是指两个或者多个信息系统之间信息交互过程、交互内容及交互格式。

本发明对比现有技术，有如下优点：本方法实现电网企业海量实时数据在平台内部的移动，能够明确数据的分布、移动、应用方式，支撑实时数据的集中管控，提升企业范围内数据的价值。

附图说明

图1是本发明的数据同步与分析系统的结构图。

具体实施方式

本发明提供一种基于数据召测的数据同步与分析系统，包括：数据源同步子系统、同步辅助子系统和数据分析子系统；数据源同步子系统按照数据交互协议与同步辅助子系统进行数据交互，数据分析子系统对同步辅助子系统获取的数据进行分析和综合展现；