[发明专利]一种数据采集过程中的数据适配器及其数据适配方法

说明书

技术领域

本发明涉及一种数据适配器及其数据适配方法，具体涉及一种数据采集过程中的数据适配器及其数据适配方法。

背景技术

近年来，随着信息技术的发展，各类应用系统在电网企业得到了广泛的应用，如：电力调度SCADA/EMS系统、生产管理系统、OA系统、电力营销系统、财务管控系统等。这些系统都是针对具体的业务进行条块划分、设计和开发的，很好地实现了业务管理的信息化，但同时又在企业内部形成了一个个信息孤岛。这就提出了对企业内部多种数据整合的需求，将当前企业各应用子系统中的数据进行规范化的处理和转储形成视图，建立企业级数据仓库。在此基础上，企业能够针对自身需求建立主题数据库，进行数据挖掘，最终形成一个统一、透明的数据共享服务。

数据整合过程中最基础、最重要同时也是最困难的环节，就是将不同数据类型、不同时间响应要求的数据安全的、完整的采集到目标数据库。目前国内外主流的数据采集实施方式可以为两大类，一类是使用专业供应商提供的产品，比如Informatica公司研发的DataStage、Ascential公司研发的DataStageXE，Sagent公司研发的Solution等，这类产品一般价格较为昂贵，对于各类异构数据源支持较好，提供的功能也较为完善，但是存在着数据采集任务的配置定义复杂繁琐，数据处理过程较为机械和执行效率不高的问题，并且难以全部满足用户所关注的数据处理的细节问题，此外对于用户不够透明，提供的二次开发接口有限；第二类是使用数据仓库整体解决方案供应商提供的数据采集工具，比如IBM公司的Warehouse Manager、Oracle公司的Warehouse Builder等，Microsoft公司的DTS等，这类工具往往是作为数据仓库整体解决方案的一部分，对自身厂商产品有较好的支持，而对来自其它厂商的异构数据源的支持有限，部分产品无法跨平台运行。

因此针对上述情况需要建立一种关注用户核心业务的实现，灵活性强，数据采集任务执行的性能和效率可以根据实际情况做不同的优化，满足不同数据类型、不同时间响应要求的数据采集、同时满足安全性、完整性要求的数据适配器。

发明内容

发明目的：本发明的目的在于针对现有技术的不足，提供一种数据采集过程中的数据适配器，解决实时数据快速到达与处理之间的速度不匹配问题，使数据接收和数据处理能够并行执行，提高数据采集任务执行的性能和效率。

同时，本发明还提供一种解决上述问题的数据采集过程中的数据适配方法。

技术方案：本发明所述的一种数据采集过程中的数据适配器，包括控制器和与所述控制器通信连接的写线程模块、缓冲管理器和读线程模块，

所述控制器用于接收控制指令、发送适配器状态并加载配置信息进行源数据库和目标数据库的连接；

所述写线程模块用于从数据源中读取所需数据，并将读取的数据写入缓冲管理器；

所述缓冲管理器包括数据缓冲池，用于存储临时数据；

所述读线程模块用于从数据缓冲池读取数据，按预定的要求进行规约化处理，并将处理好的数据写入目标数据库。

本发明技术方案的进一步限定为，所述缓冲管理器采用Util.Concurrent并发线程包所提供的模型，包括的并发构件为：线程锁、互斥、队列、线程池、轻量级任务。

进一步地，所述缓冲管理器通过Util.concurrent包提供Executor接口、Callable接口和Future接口，

所述Executor接口，用于提供任务执行方法，实现任务的submit()和shutdown()操作；

所述Callable接口，用于获得任务抛出的异常和返回结果；

所述Future接口，用于获取任务的句柄，得到任务执行的中间结果，终止任务的执行，对任务执行过程进行全生命周期的监控。

进一步地，所述数据缓冲池为ConcurrentLinkedQueue类型，所述数据缓冲池的大小由配置文件的约定的大小来初始化。

本发明提供的另一技术方案为：一种数据采集过程中的数据适配器的数据适配方法，按如下步骤进行：

S1、启动数据适配器，控制器加载配置信息进行源数据库和目标数据库的连接；

S2、写线程模块从源数据库中读取所需数据，并将读取的数据写入数据缓冲池；

S3、缓冲管理器将接收到的临时数据进行存储；

S4、读线程模块用于从数据缓冲池读取数据，按预定的要求进行规约化处理，并将处理好的数据写入目标数据库。