[发明专利]一种数据采集过程中的数据适配器及其数据适配方法

权利要求书

1.一种数据采集过程中的数据适配器，其特征在于，包括控制器和与所述控制器通信连接的写线程模块、缓冲管理器和读线程模块，

所述控制器用于接收控制指令、发送适配器状态并加载配置信息进行源数据库和目标数据库的连接；

所述写线程模块用于从数据源中读取所需数据，并将读取的数据写入缓冲管理器；

所述缓冲管理器包括数据缓冲池，用于存储临时数据；

所述读线程模块用于从数据缓冲池读取数据，按预定的要求进行规约化处理，并将处理好的数据写入目标数据库。

2.根据权利要求1所述的一种数据采集过程中的数据适配器，其特征在于，所述缓冲管理器采用Util.Concurrent并发线程包所提供的模型，包括的并发构件为：线程锁、互斥、队列、线程池、轻量级任务。

3.根据权利要求2所述的一种数据采集过程中的数据适配器，其特征在于，所述缓冲管理器通过Util.concurrent包提供Executor接口、Callable接口和Future接口，

所述Executor接口，用于提供任务执行方法，实现任务的submit()和shutdown()操作；

所述Callable接口，用于获得任务抛出的异常和返回结果；

所述Future接口，用于获取任务的句柄，得到任务执行的中间结果，终止任务的执行，对任务执行过程进行全生命周期的监控。

4.根据权利要求1所述的一种数据采集过程中的数据适配器，其特征在于，所述数据缓冲池为ConcurrentLinkedQueue类型，所述数据缓冲池的大小由配置文件的约定的大小来初始化。

5.根据权利要求1所述的一种数据采集过程中的数据适配器的数据适配方法，其特征在于，按如下步骤进行：

S1、启动数据适配器，控制器加载配置信息进行源数据库和目标数据库的连接；

S2、写线程模块从源数据库中读取所需数据，并将读取的数据写入数据缓冲池；

S3、缓冲管理器将接收到的临时数据进行存储；

S4、读线程模块用于从数据缓冲池读取数据，按预定的要求进行规约化处理，并将处理好的数据写入目标数据库。

6.根据权利要求5所述的一种数据采集过程中的数据适配方法，其特征在于，步骤S1中，启动数据适配器后，缓冲管理器根据配置文件的约定的大小初始化数据缓冲池。

7.根据权利要求5所述的一种数据采集过程中的数据适配方法，其特征在于，数据适配器进行读写数据的过程中，控制器实时输出当前适配器状态，并检测控制指令，当检测到终止指令时，关闭数据适配器。

8.根据权利要求5所述的一种数据采集过程中的数据适配方法，其特征在于，步骤S2中，写线程模块向数据缓冲池中写入数据时，判断数据缓冲池是否已经写满，如果未满，则将数据写入缓冲池并重置缓冲池大小，如果已经写满，则退出写数据操作。

9.根据权利要求5所述的一种数据采集过程中的数据适配方法，其特征在于，步骤S4中，读线程模块从数据缓冲池读取数据时，判断缓冲池是否为空，如果为空，则退出读数据操作，如果不为空，则从数据缓冲池中读取数据并重置缓冲池大小。