[发明专利]一种数据采集方法及相关设备

摘要

本申请提出了一种数据采集方法及相关设备，本申请针对不同的待采集数据表，预先构建了包含其属性信息和二级分发标识的一级分发消息，在对各待采集数据表进行数据采集之前，可以先依据该一级分发消息确定是否需要对相应的待采集数据表进行分表采集，将需要分表采集数据的待拆分数据表，调取消息队列中存储的相应拆分信息，据此控制多个数据采集设备对待拆分数据表进行分段数据采集，将采集到的多个数据子文件合并为一个目标数据文件，即实现了对大数据量的待采集数据表进行分段并行检测，提高了数据采集效率，且解决了由单数据采集设备对这类数据表进行数据采集，容易造成数据采集设备资源浪费的技术问题。