[发明专利]数据采集方法、装置、可读存储介质与芯片

说明书

本公开涉及一种数据采集方法、装置、可读存储介质与芯片，涉及计算机技术领域。该方法包括：采用不同的线程，解析层级树中位于上一层中的至少一个第一任务，得到第一解析数据；通过该第一解析数据，获取该至少一个第一任务所需要获取的第一目标数据；解析该第一目标数据，得到下一层中的至少一个第二任务获取第二目标数据所需的第二解析数据，该上一层和该下一层为该层级树中任意相邻的两层；将该第二解析数据封装为该至少一个第二任务，该第二任务用于回传至消息队列被该不同的线程获取。使用本公开提出的数据采集方法，可以采用多个线程同时处理多个任务，提升解析任务获取数据的效率。

技术领域

本公开涉及计算机技术领域，尤其涉及一种数据采集方法、装置、可读存储介质与芯片。

背景技术

层级树包括父节点与子节点，每个父节点被分为若干子节点，层级树中的每个节点表征为一个任务，一个任务用于获取一种数据。

相关技术中，请参阅图2所示，第一层的任务1下具有第二层的任务1.1与任务1.2，第二层的任务1.1下具有第三层的任务1.1.1与任务1.1.2，第二层的任务1.2下具有第三层的任务1.2.1与任务1.2.2。

在利用层级树中的任务来进行数据采集时，是采用任务1、任务1.1、任务1.1.1、任务1.1.2、任务1.2、任务1.2.1、任务1.2.2的顺序，解析不同的任务以获取不同的数据，但是获取数据的效率较慢。

发明内容

为克服相关技术中存在的问题，本公开提供一种数据采集方法、装置、可读存储介质与芯片。

根据本公开实施例的第一方面，提供一种数据采集方法，所述方法包括：

采用不同的线程，解析层级树中位于上一层中的至少一个第一任务，得到第一解析数据；

通过所述第一解析数据，获取所述至少一个第一任务所需要获取的第一目标数据；

解析所述第一目标数据，得到下一层中的至少一个第二任务获取第二目标数据所需的第二解析数据，所述上一层和所述下一层为所述层级树中任意相邻的两层；

将所述第二解析数据封装为所述至少一个第二任务，所述第二任务用于回传至消息队列被所述不同的线程获取。

可选地，所述采用不同的线程，解析层级树中位于上一层中的至少一个第一任务，得到第一解析数据，包括：

根据多个服务器的负载，从所述多个服务器中确定目标服务器；

采用所述目标服务器中的线程，解析层级树中位于所述上一层中的至少一个第一任务，得到所述第一解析数据。

可选地，所述采用所述目标服务器中的线程，解析层级树中位于所述上一层中的至少一个第一任务，得到所述第一解析数据，包括：

确定所述目标服务器中的空闲线程；

利用所述空闲线程，从位于所述消息队列中的至少一个第一任务中，获取位于所述消息队列首位的目标任务；

利用所述空闲线程解析所述目标任务，得到所述目标任务对应的第一解析数据。

可选地，所述通过所述第一解析数据，获取所述至少一个第一任务所需要获取的第一目标数据，包括：

通过所述第一解析数据，获取不同网络或不同硬件中的第一目标数据。

可选地，所述将所述第二解析数据封装为所述至少一个第二任务，包括：

将所述第二解析数据、所述第二任务的类型、封装所述第二解析数据的重试次数以及封装所述第二解析数据的封装时间，封装为所述第二任务。

根据本公开实施例的第二方面，提供一种数据采集装置，所述装置包括：