[发明专利]数据处理方法、装置及终端

说明书

本发明实施例公开了数据处理方法、装置及终端，其中，所述方法应用于终端，所述终端运行有第一线程和第二线程，所述方法包括：通过所述第一线程获取需要存储的数据，并将所述数据存储到任务队列中；释放所述第一线程所占用的系统资源，所述系统资源包括CPU资源、内存资源或者I/O资源；通过所述第二线程在所述任务队列中获取所述数据，并将所述数据存储到数据库中。采用本发明实施例，可以提高系统资源利用率，并提升第一线程获取数据的数据获取效率。

技术领域

本发明涉及互联网技术领域，尤其涉及数据处理方法、装置及终端。

背景技术

随着互联网技术的发展，互联网中的数据呈爆发式增长，为了提升数据处理速度，可以采用多线程技术进行数据处理。以网络爬虫为例，网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。在传统网页爬取技术中，为了提升网页爬取速度，往往采用多线程技术进行爬取。其中每个线程各自负责网页数据的解析和持久化，例如采用三个线程进行网页爬取，第一线程对网页数据进行解析，并将解析得到的网页数据写入数据库之后才可以释放占用的系统资源，同理，第二线程对网页数据进行解析，并将解析得到的网页数据写入数据库之后才可以释放占用的系统资源，第三线程对网页数据进行解析，并将解析得到的网页数据写入数据库之后才可以释放占用的系统资源，则各个线程占用的系统资源的时间较长，降低系统资源利用率。另外，每个线程在爬取网页数据、对爬取到的网页数据进行解析以及持久化存储之后，才可以结束本次流程，以便再次执行爬取网页数据、对爬取到的网页数据进行解析以及持久化存储的操作，导致爬取网页数据的效率较低。

发明内容

本发明实施例提供一种数据处理方法、装置及终端，可提高系统资源利用率，并提升第一线程获取数据的数据获取效率。

一方面，本发明实施例提供了一种数据处理方法，所述方法应用于终端，所述终端运行有第一线程和第二线程，所述方法包括：

通过所述第一线程获取需要存储的数据，并将所述数据存储到任务队列中；

释放所述第一线程所占用的系统资源，所述系统资源包括CPU资源、内存资源或者I/O资源；

通过所述第二线程在所述任务队列中获取所述数据，并将所述数据存储到数据库中。

相应地，本发明实施例还提供了一种数据处理装置，所述装置应用于终端，所述终端运行有第一线程和第二线程，所述装置包括：

数据获取单元，用于通过所述第一线程获取需要存储的数据，并将所述数据存储到任务队列中；

资源释放单元，用于释放所述第一线程所占用的系统资源，所述系统资源包括CPU资源、内存资源或者I/O资源；

数据存储单元，用于通过所述第二线程在所述任务队列中获取所述数据，并将所述数据存储到数据库中。

相应地，本发明实施例还提供了一种终端，该终端包括所述的数据处理装置。

本发明实施例可以通过第一线程获取需要存储的数据，并将该数据存储到任务队列中之后，释放第一线程所占用的系统资源，可提升资源利用率，另外，通过第一线程获取需要存储的数据，然后通过第二线程将该数据存储到数据库，可提升第一线程获取数据的数据获取效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的一种数据处理系统的结构示意图；

图2是本发明实施例中的一种数据处理方法的流程示意图；