[发明专利]一种数据采集方法、装置及系统

权利要求书

1.一种数据采集方法，其特征在于，包括：

通过数据抽取线程从对应的业务数据库中抽取原始数据；

利用数据清洗线程对所述原始数据进行筛选过滤，生成第一处理数据；

利用数据加工线程对所述第一处理数据的类型进行转换，生成第二处理数据；

利用数据封装线程将所述第二处理数据封装成对应的XML文件；

其中，所述数据抽取线程、所述数据清洗线程、所述数据加工线程和所述数据封装线程的线程数量参数均为可自定义的线程数量参数；

其中，所述通过数据抽取线程从对应的业务数据库中抽取原始数据之后，还包括：

检测所述原始数据的第一数据属性；根据所述第一数据属性调整所述数据清洗线程的线程数量参数；

其中，所述利用数据清洗线程对所述原始数据进行筛选过滤，生成第一处理数据之后，还包括：

检测所述第一处理数据的第二数据属性；根据所述第二数据属性调整所述数据加工线程的线程数量参数；

其中，所述利用数据加工线程对所述第一处理数据的类型进行转换，生成第二处理数据之后，还包括：

检测所述第二处理数据的第三数据属性；根据所述第三数据属性调整所述数据封装线程的线程数量参数。

2.根据权利要求1所述的数据采集方法，其特征在于，所述通过数据抽取线程从对应的业务数据库中抽取原始数据之前，还包括：

接收用户输入的线程数量参数修改指令；

利用所述线程数量参数修改指令，对所述数据抽取线程、所述数据清洗线程、所述数据加工线程和所述数据封装线程中至少一者的线程数量参数进行调整。

3.根据权利要求1或2所述的数据采集方法，其特征在于，所述利用数据封装线程将所述第二处理数据封装成对应的XML文件之后，还包括：

根据所述XML文件的优先级信息，确定与所述XML文件对应的目标业务队列；

将所述XML文件存入所述目标业务队列；

通过与所述XML文件对应的数据解析线程解析所述目标业务队列中的XML文件，并存入数据库。

4.一种数据采集装置，其特征在于，包括：

数据抽取模块，用于通过数据抽取线程从对应的业务数据库中抽取原始数据；

数据清洗模块，用于利用数据清洗线程对所述原始数据进行筛选过滤，生成第一处理数据；

数据加工模块，用于利用数据加工线程对所述第一处理数据的类型进行转换，生成第二处理数据；

数据封装模块，用于利用数据封装线程将所述第二处理数据封装成对应的XML文件；其中，所述数据抽取线程、所述数据清洗线程、所述数据加工线程和所述数据封装线程的线程数量参数均为可自定义的线程数量参数；

其中，检测模块，用于通过数据抽取线程从对应的业务数据库中抽取原始数据之后，检测所述原始数据的第一数据属性；

第二线程数量参数调整模块，用于根据所述第一数据属性调整所述数据清洗线程的线程数量参数；

所述检测模块还用于：检测所述第一处理数据的第二数据属性；

所述第二线程数量参数调整模块还用于，根据所述第二数据属性调整所述数据加工线程的线程数量参数；

所述检测模块还用于：检测所述第二处理数据的第三数据属性；

所述第二线程数量参数调整模块还用于，根据所述第三数据属性调整所述数据封装线程的线程数量参数。

5.根据权利要求4所述的数据采集装置，其特征在于，还包括：

接收模块，用于接收用户输入的线程数量参数修改指令；

第一线程数量参数调整模块，用于利用所述线程数量参数修改指令，对所述数据抽取线程、所述数据清洗线程、所述数据加工线程和所述数据封装线程中至少一者的线程数量参数进行调整。

6.一种数据采集系统，其特征在于，包括如权利要求4或5所述的数据采集装置，还包括：

数据中转装置，用于根据所述XML文件的优先级信息，确定与所述XML文件对应的目标业务队列，并将所述XML文件存入所述目标业务队列；

数据解析装置，用于通过与所述XML文件对应的数据解析线程解析所述目标业务队列中的XML文件，并存入数据库。