[发明专利]一种支持高并发大数据量的数据抽取处理方法

说明书

技术领域

本发明涉及数据采集统计技术领域，特别涉及一种支持高并发大数据量的数据抽取处理方法。

背景技术

在企业决策中，对下游经销商中本企业产品进销存数据有着强烈地统计需求，如何从数量庞大的经销商处稳定地获取海量数据将成为问题关键，目前的采集方法都是独立的，其过程不但繁琐而且不够稳定。

发明内容

为了解决现有技术的问题，本发明提供了一种支持高并发大数据量的数据抽取处理方法，通过灵活定义采集方案，由客户端软件定义采集SQL、采集频率定时采集数据，服务器组件提供安全登录、数据导入、业务逻辑处理触发，从而将海量数据稳定采集至企业数据库中，为企业决策分析提供数据源。

本发明所采用的技术方案如下：

一种支持高并发大数据量的数据抽取处理方法，其由客户端的数据采集和服务器端的数据处理的两部分方法构成，其中，

A、客户端的数据采集的方法具体包括：

B、从服务器端下载配置定义信息；

C、根据下载的配置定义信息和本地数据源结合，定义出具体的采集结构化查询语言信息；

D、同时启用采集判断线程、采集线程、数据上传线程和日志缓存线程；

E、采集判断线程定时检查采集定义是否可触发采集，把需要执行的采集明细传递给采集线程进行后续执行；

F、采集线程对每个采集明细信息逐个执行，数据抽取后压缩生成文件；

G、数据上传线程定时检查是否存在新文件，检查到新文件后进行逐个文件上传；上传失败时，则继续下个文件上传，失败文件等待下次继续尝试上传；

H、日志缓存提供高效机制，在各线程和日志文件之间起到访问缓冲，加快了各线程执行；

服务器端进行数据处理的方法具体包括：

a、以网络服务接口对外提供服务，组件以视窗服务方式运行；

b、服务器端组件启动客户端管理线程、文件传输管理线程、文件导入调度线程；

c、客户端管理线程定时与数据库交互，读取客户端配置信息和保存客户端登录信息至数据库中；线程缓存客户端的各类信息为文件传输和导入调度提供信息快速访问，同时提供客户端登录验证功能；

d、文件传输管理线程控制传输许可分配、回收和数据的接收；

e、文件导入调度线程提供相同客户端同时只能导入一个文件、不同客户端文件可并发的控制，对于出错的文件导入需要提供容错再次导入机制。

配置定义信息包括以下内容：

（1）定义目标对象：数据列名、字段类型、字段长度、字段说明、是否主键；

（2）定义采集对象：表结构信息（目标对象），和日、周、月不同采集周期所对应表名；

（3）采集方案：所包含采集对象集合定义和后处理方案；

（4）客户端配置：登录名、密码、采集方案。

本发明提供的技术方案带来的有益效果是：

本发明通过灵活定义采集方案，由客户端定义采集SQL（结构化查询语言）信息、采集频率定时采集数据，服务器端提供安全登录、数据导入、业务逻辑处理触发，将海量数据稳定采集至企业数据库中，为企业决策分析提供数据源。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合具体实施例对本发明实施方式作进一步地详细描述。

实施例一

下面给出客户端的数据采集和服务器端的数据处理的具体程序：

1、客户端：

1．1规则日志缓存类，提供日志缓存、定时保存日志至文件中：

public class TableLogBuffer : ThreadTaskBase

{

        /// 定时执行日志保存

        protected override void TaskWorkFunc()

        {

            lock (_lock)

            {

                //内存没有变动的话，不需要保存至文件中

                if (!_ismodified)

                    return;

                if (!Directory.Exists(LocalPath.LogPath))