[发明专利]一种数据采集方法、装置及系统

摘要

本发明公开了一种数据采集方法，包括：数据抽取线程从对应的业务数据库中抽取原始数据；利用数据清洗线程进行筛选过滤，利用数据加工线程对类型进行转换，利用数据封装线程封装成对应的XML文件；可见，获取业务数据库中的原始数据时，可通过与该业务数据库对应的数据抽取线程获取原始数据，从而增加了数据采集装置的横向扩展性；并且，本方案中通过单独的数据清洗线程、数据加工线程和数据封装线程对原始数据进行处理，这样在每个线程处理数据时，可通过调整线程数量参数控制线程的启停，从而增加了线程启停的灵活性，提高采集效率；本发明实施例还公开了一种数据采集装置及系统，同样能实现上述技术效果。

主权项

1.一种数据采集方法，其特征在于，包括：通过数据抽取线程从对应的业务数据库中抽取原始数据；利用数据清洗线程对所述原始数据进行筛选过滤，生成第一处理数据；利用数据加工线程对所述第一处理数据的类型进行转换，生成第二处理数据；利用数据封装线程将所述第二处理数据封装成对应的XML文件；其中，所述数据抽取线程、所述数据清洗线程、所述数据加工线程和所述数据封装线程的线程数量参数均为可自定义的线程数量参数；其中，所述通过数据抽取线程从对应的业务数据库中抽取原始数据之后，还包括：检测所述原始数据的第一数据属性；根据所述第一数据属性调整所述数据清洗线程的线程数量参数；其中，所述利用数据清洗线程对所述原始数据进行筛选过滤，生成第一处理数据之后，还包括：检测所述第一处理数据的第二数据属性；根据所述第二数据属性调整所述数据加工线程的线程数量参数；其中，所述利用数据加工线程对所述第一处理数据的类型进行转换，生成第二处理数据之后，还包括：检测所述第二处理数据的第三数据属性；根据所述第三数据属性调整所述数据封装线程的线程数量参数。