[发明专利]一种支持高并发大数据量的数据抽取处理方法

摘要

本发明涉及数据采集统计技术领域，特别涉及一种支持高并发大数据量的数据抽取处理方法。其通过灵活定义采集方案，由客户端软件定义采集SQL、采集频率定时采集数据，服务器组件提供安全登录、数据导入、业务逻辑处理触发，从而将海量数据稳定采集至企业数据库中，为企业决策分析提供数据源。

主权项

一种支持高并发大数据量的数据抽取处理方法，其由客户端的数据采集和服务器端的数据处理的两部分方法构成，其中，A、客户端的数据采集的方法具体包括：B、从服务器端下载配置定义信息；C、根据下载的配置定义信息和本地数据源结合，定义出具体的采集结构化查询语言信息；D、同时启用采集判断线程、采集线程、数据上传线程和日志缓存线程；E、采集判断线程定时检查采集定义是否可触发采集，把需要执行的采集明细传递给采集线程进行后续执行；F、采集线程对每个采集明细信息逐个执行，数据抽取后压缩生成文件；G、数据上传线程定时检查是否存在新文件，检查到新文件后进行逐个文件上传；上传失败时，则继续下个文件上传，失败文件等待下次继续尝试上传；H、日志缓存提供高效机制，在各线程和日志文件之间起到访问缓冲，加快了各线程执行；服务器端进行数据处理的方法具体包括：a、以网络服务接口对外提供服务，组件以视窗服务方式运行；b、服务器端组件启动客户端管理线程、文件传输管理线程、文件导入调度线程；c、客户端管理线程定时与数据库交互，读取客户端配置信息和保存客户端登录信息至数据库中；线程缓存客户端的各类信息为文件传输和导入调度提供信息快速访问，同时提供客户端登录验证功能；d、文件传输管理线程控制传输许可分配、回收和数据的接收；e、文件导入调度线程提供相同客户端同时只能导入一个文件、不同客户端文件可并发的控制，对于出错的文件导入需要提供容错再次导入机制。