[发明专利]数据处理方法、装置及终端

权利要求书

1.一种数据处理方法，其特征在于，所述方法应用于终端，所述终端运行有第一线程和第二线程，所述第一线程为网页爬虫线程，所述第二线程用于存储网页爬虫线程爬取的数据，所述第一线程爬取网页数据与所述第二线程存储爬取的数据是两个完全独立的过程，所述方法包括：

所述终端通过所述第一线程获取需要存储的数据，并将所述数据存储到任务队列中；

所述终端释放所述第一线程所占用的系统资源；

所述终端通过所述第二线程在所述任务队列中获取所述数据，并将所述数据存储到数据库中，其中，所述第二线程是在从获取的所述第二线程的工作状态由运行状态更新为休眠状态的更新时间开始经过第一预设时长时，由休眠状态更新为运行状态，或者，所述第二线程是在从所述第二线程最近一次从所述任务队列中获取数据的获取时间开始经过第二预设时长时，在所述任务队列中获取数据；

当所述任务队列中不存在数据时，所述终端将所述第二线程的工作状态由运行状态更新为休眠状态；

其中，所述任务队列为无锁队列，所述第一线程向所述任务队列写入数据时为无锁写入过程，所述第二线程从所述任务队列获取数据时为无锁获取过程。

2.如权利要求1所述的方法，其特征在于，所述终端运行有至少两个第一线程；

所述通过所述第一线程获取需要存储的数据，并将所述数据存储到任务队列中，包括：

通过所述至少两个第一线程分别获取需要存储的数据；

通过各个所述第一线程将获取到的数据并行存储到所述任务队列中。

3.如权利要求1所述的方法，其特征在于，所述通过所述第二线程在所述任务队列中获取所述数据之前，还包括：

通过所述第二线程检测所述任务队列中是否存在数据；

当所述任务队列中存在数据时，通过所述第二线程在所述任务队列中获取所述数据。

4.如权利要求1所述的方法，其特征在于，所述数据库包括多个，则所述终端运行有多个第二线程，每一个第二线程与一个或者多个数据库对应；

所述通过所述第二线程在所述任务队列中获取所述数据，并将所述数据存储到数据库中，包括：

通过各个所述第二线程在所述任务队列中获取所述数据，并将所述数据存储到第二线程对应的数据库中。

5.一种数据处理装置，其特征在于，所述装置应用于终端，所述终端运行有第一线程和第二线程，所述第一线程为网页爬虫线程，所述第二线程用于存储网页爬虫线程爬取的数据，所述第一线程爬取网页数据与所述第二线程存储爬取的数据是两个完全独立的过程，所述装置包括：

数据获取单元，用于通过所述第一线程获取需要存储的数据，并将所述数据存储到任务队列中；

资源释放单元，用于释放所述第一线程所占用的系统资源；

数据存储单元，用于通过所述第二线程在所述任务队列中获取所述数据，并将所述数据存储到数据库中；

状态更新单元，用于在所述任务队列中不存在数据时，将所述第二线程的工作状态由运行状态更新为休眠状态；

其中，所述任务队列为无锁队列，所述第一线程向所述任务队列写入数据时为无锁写入过程，所述第二线程从所述任务队列获取数据时为无锁获取过程；

其中，所述装置还包括：时间获取单元，用于获取所述第二线程的工作状态由运行状态更新为休眠状态的更新时间；所述状态更新单元，还用于当从所述更新时间开始经过第一预设时长时，将所述第二线程的工作状态由休眠状态更新为运行状态；

或者，所述装置还包括：时间获取单元，用于得到通过所述第二线程最近一次从所述任务队列中获取数据的获取时间；所述数据存储单元，还用于当从所述获取时间开始经过第二预设时长时，通过所述第二线程在所述任务队列中获取所述数据。

6.如权利要求5所述的装置，其特征在于，所述终端运行有至少两个第一线程；

所述数据获取单元，具体用于：

通过所述至少两个第一线程分别获取需要存储的数据；

通过各个所述第一线程将获取到的数据并行存储到所述任务队列中。