[发明专利]一种支持高并发大数据量的数据抽取处理方法

权利要求书

1.一种支持高并发大数据量的数据抽取处理方法，其由客户端的数据采集和服务器端的数据处理的两部分方法构成，其中，

A、客户端的数据采集的方法具体包括：

B、从服务器端下载配置定义信息；

C、根据下载的配置定义信息和本地数据源结合，定义出具体的采集结构化查询语言信息；

D、同时启用采集判断线程、采集线程、数据上传线程和日志缓存线程；

E、采集判断线程定时检查采集定义是否可触发采集，把需要执行的采集明细传递给采集线程进行后续执行；

F、采集线程对每个采集明细信息逐个执行，数据抽取后压缩生成文件；

G、数据上传线程定时检查是否存在新文件，检查到新文件后进行逐个文件上传；上传失败时，则继续下个文件上传，失败文件等待下次继续尝试上传；

H、日志缓存提供高效机制，在各线程和日志文件之间起到访问缓冲，加快了各线程执行；

服务器端进行数据处理的方法具体包括：

a、以网络服务接口对外提供服务，组件以视窗服务方式运行；

b、服务器端组件启动客户端管理线程、文件传输管理线程、文件导入调度线程；

c、客户端管理线程定时与数据库交互，读取客户端配置信息和保存客户端登录信息至数据库中；线程缓存客户端的各类信息为文件传输和导入调度提供信息快速访问，同时提供客户端登录验证功能；

d、文件传输管理线程控制传输许可分配、回收和数据的接收；

e、文件导入调度线程提供相同客户端同时只能导入一个文件、不同客户端文件可并发的控制，对于出错的文件导入需要提供容错再次导入机制。

2.根据权利要求1所述的一种支持高并发大数据量的数据抽取处理方法，其特征在于，所述的配置定义信息包括以下内容：

（1）定义目标对象：数据列名、字段类型、字段长度、字段说明、是否主键；

（2）定义采集对象：表结构信息（目标对象），和日、周、月不同采集周期所对应表名；

（3）采集方案：所包含采集对象集合定义和后处理方案；

（4）客户端配置：登录名、密码、采集方案。