[发明专利]数据采集方法、装置、可读存储介质与芯片

权利要求书

1.一种数据采集方法，其特征在于，所述方法包括：

采用不同的线程，解析层级树中位于上一层中的至少一个第一任务，得到第一解析数据；

通过所述第一解析数据，获取所述至少一个第一任务所需要获取的第一目标数据；

解析所述第一目标数据，得到下一层中的至少一个第二任务获取第二目标数据所需的第二解析数据，所述上一层和所述下一层为所述层级树中任意相邻的两层；

将所述第二解析数据封装为所述至少一个第二任务，所述第二任务用于回传至消息队列被所述不同的线程获取。

2.根据权利要求1所述的方法，其特征在于，所述采用不同的线程，解析层级树中位于上一层中的至少一个第一任务，得到第一解析数据，包括：

根据多个服务器的负载，从所述多个服务器中确定目标服务器；

采用所述目标服务器中的线程，解析层级树中位于所述上一层中的至少一个第一任务，得到所述第一解析数据。

3.根据权利要求2所述的方法，其特征在于，所述采用所述目标服务器中的线程，解析层级树中位于所述上一层中的至少一个第一任务，得到所述第一解析数据，包括：

确定所述目标服务器中的空闲线程；

利用所述空闲线程，从位于所述消息队列中的至少一个第一任务中，获取位于所述消息队列首位的目标任务；

利用所述空闲线程解析所述目标任务，得到所述目标任务对应的第一解析数据。

4.根据权利要求1所述的方法，其特征在于，所述通过所述第一解析数据，获取所述至少一个第一任务所需要获取的第一目标数据，包括：

通过所述第一解析数据，获取不同网络或不同硬件中的第一目标数据。

5.根据权利要求1所述的方法，其特征在于，所述将所述第二解析数据封装为所述至少一个第二任务，包括：

将所述第二解析数据、所述第二任务的类型、封装所述第二解析数据的重试次数以及封装所述第二解析数据的封装时间，封装为所述第二任务。

6.一种数据采集装置，其特征在于，所述装置包括：

第一任务解析模块，被配置为采用不同的线程，解析层级树中位于上一层中的至少一个第一任务，得到第一解析数据；

第一目标数据获取模块，被配置为通过所述第一解析数据，获取所述至少一个第一任务所需要获取的第一目标数据；

第二解析数据获取模块，被配置为解析所述第一目标数据，得到下一层中的至少一个第二任务获取第二目标数据所需的第二解析数据，所述上一层和所述下一层为所述层级树中任意相邻的两层；

封装模块，被配置为将所述第二解析数据封装为所述至少一个第二任务，所述第二任务用于回传至消息队列被所述不同的线程获取。

7.根据权利要求6所述的装置，其特征在于，所述第一任务解析模块包括：

目标服务器确定子模块，被配置为根据多个服务器的负载，从所述多个服务器中确定目标服务器；

第一任务解析子模块，被配置为采用所述目标服务器中的线程，解析层级树中位于所述上一层中的至少一个第一任务，得到所述第一解析数据。

8.一种数据采集装置，其特征在于，包括：

第一处理器；

用于存储处理器可执行指令的第一存储器；

其中，所述第一处理器被配置为：

执行所述可执行指令以实现权利要求1~5任一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被第二处理器执行时实现权利要求1~5中任一项所述方法的步骤。

10.一种芯片，其特征在于，包括第三处理器和接口；所述第三处理器用于读取指令以执行权利要求1~5中任一项所述方法的步骤。