[发明专利]爬取数据的方法、装置、介质及电子设备

说明书

本发明涉及爬取数据的方法、装置、介质及电子设备。一种爬取数据的方法，包括：获取本次请求URL，根据所述本次请求URL进行数据爬取任务；获取组装后续请求所需的配置数据，后续请求配置数据包括累加参数和累加数；读取本次请求URL中包含的累加参数的参数值；将参数值与累加数相加，得到累加后的参数值；基于累加后的参数值，生成新的URL请求；将新的URL请求放入待请求队列，从而依据待请求队列中的URL请求执行爬虫任务。根据本发明的方案，不依赖于页面中的链接而生成新的URL请求，可以实现内容上连续的多个APP端请求的连续爬取，提高了APP端数据的爬取效率。

技术领域

本发明涉及计算机网络技术领域，具体涉及一种爬取数据的方法、装置、介质及电子设备。

背景技术

现有的爬虫工具有例如八爪鱼，其预先爬取了主流网站的数据，用户可以在该工具中选取其需要的网站上的某些类型的数据，例如标题、价格、名称等，该工具主要针对小白用户而设计，优点是简单易用，缺点是只能满足简单需求；此外，还有名称为火车头采集器的爬虫工具，该工具针对有相关爬虫经验的用户设计，用户可以在其上进行一些简单的配置，包括提交URL、表达式等，但同样不能满足较为复杂的需求。

现有的爬虫工具一般针对PC端开发，较少针对APP端的数据进行爬取。当前，由于智能手机等智能设备中APP的广泛应用，APP端的数据量也越来越大，对APP端数据进行爬取的需求也越来越多。

发明内容

用现有的爬虫工具一般针对PC端页面数据进行爬取，当对APP端的数据进行爬取时，会遇到某些问题。例如，现有技术PC端页面上，对于内容上连续的PC端页面，往往通过“下一页”链接到之后的页面。而在APP端数据中，即使存在内容上连续的多个APP端请求(例如http请求)，这些页面上往往不设置对“下一页”的链接，当在实际业务场景中，需要爬取内容上连续的多个APP端请求时，现有爬虫工具无法实现连续爬取，降低了爬取数据的效率。

本发明的目的在于，提供一种爬取数据的方法、装置、介质及电子设备，实现对内容上连续的多个APP端请求的连续爬取。

根据本发明的一个方案，提供了一种爬取数据的方法，包括：获取本次请求URL；获取组装后续请求所需配置数据，所述配置数据包括累加参数和累加数；读取本次请求URL中包含的所述累加参数的参数值；将所述参数值与所述累加数相加，得到累加后的参数值；基于所述累加后的参数值，生成新的URL请求；将所述新的URL请求放入待请求队列，从而依据所述待请求队列中的URL请求执行爬虫任务。

根据本发明的方法实施例，该方法还包括：获取停止条件；循环执行上述方法步骤，直到判断出满足了所述停止条件。

根据本发明的方法实施例，所述停止条件包括停止表达式、第二停止值以及停止比较方式。

根据本发明的方法实施例，所述判断出满足了停止条件包括：基于停止表达式，对返回值数据进行解析，获得第一比较值，其中所述返回值数据是所述爬虫模块依据所述本次请求URL爬取相应页面的数据而获得的；基于所述停止比较方式对第一比较值和第二停止值进行比较，当比较的结果为真时，判断出满足了停止条件。

根据本发明的方法实施例，所述配置数据是由用户输入的。

根据本发明的方法实施例，所述停止条件是由用户输入的。

根据本发明的另一个方案，提供了一种爬取数据的装置，包括爬虫模块，其配置为执行爬虫任务，所述装置还包括：请求获取模块，其配置为获取本次请求URL；配置数据获取模块，其配置为获取组装后续请求所需的配置数据，所述配置数据包括累加参数和累加数；后续请求获取模块，其配置为读取本次请求URL中包含的所述累加参数的参数值；将所述参数值与所述累加数相加，得到累加后的参数值；基于所述累加后的参数值，生成新的URL请求；待请求队列更新模块，其配置为将所述新的URL请求放入所述待请求队列，从而所述爬虫模块依据所述待请求队列中的URL请求执行所述爬虫任务。