[发明专利]基于R语言的网页内容爬取方法、系统和存储介质

权利要求书

1.一种基于R语言的网页内容爬取方法，其特征在于：包括以下步骤：

搭建R语言服务器；

在R语言服务器中执行数据抓取步骤；

所述数据抓取步骤包括：

获取原始层级的网页的URL并启动浏览器；

抓取原始层级页面的第一页面信息；

根据第一页面信息和/或设定条件，判断是否需要抓取下一层级页面的内容，若是，则抓取下一层页面的第二页面信息；反之，则直接执行下一步骤；

将获取的第一页面信息和/或第二页面信息存入数据库，或者将获取的第一页面信息和/或第二页面信息进行数据处理。

2.根据权利要求1所述的一种基于R语言的网页内容爬取方法，其特征在于：所述搭建R语言服务器，其具体包括：

加载R语言的基础包、数据库调用包和网页抓取包；

配置浏览器驱动、系统环境变量和Selenium服务。

3.根据权利要求1所述的一种基于R语言的网页内容爬取方法，其特征在于：所述抓取原始层级页面的第一页面信息，其具体包括：

抓取原始层级页面的设定网页元素作为第一页面信息；

或者

根据设定内容在原始层级页面的搜索框中进行搜索，并抓取搜索结果中的设定元素作为第一页面信息。

4.根据权利要求1所述的一种基于R语言的网页内容爬取方法，其特征在于：所述数据抓取步骤还包括：

当浏览器打开的页面数量达到设定阈值时，重新启动浏览器。

5.一种基于R语言的网页内容爬取系统，其特征在于：包括：

搭建模块，用于搭建R语言服务器；

所述R语言服务器包括：

获取模块，用于获取原始层级的网页的URL并启动浏览器；

抓取模块，用于抓取原始层级页面的第一页面信息；

判断抓取模块，用于根据第一页面信息和/或设定条件，判断是否需要抓取下一层级页面的内容，若是，则抓取下一层页面的第二页面信息；反之，则直接执行下一步骤；

信息处理模块，用于将获取的第一页面信息和/或第二页面信息存入数据库，或者将获取的第一页面信息和/或第二页面信息进行数据处理。

6.根据权利要求5所述的一种基于R语言的网页内容爬取系统，其特征在于：所述搭建模块包括：

加载单元，用于加载R语言的基础包、数据库调用包和网页抓取包；

配置单元，用于配置浏览器驱动、系统环境变量和Selenium服务。

7.根据权利要求5所述的一种基于R语言的网页内容爬取系统，其特征在于：所述抓取模块具体用于：

抓取原始层级页面的设定网页元素作为第一页面信息；

或者

根据设定内容在原始层级页面的搜索框中进行搜索，并抓取搜索结果中的设定元素作为第一页面信息。

8.根据权利要求5所述的一种基于R语言的网页内容爬取系统，其特征在于：所述R语言服务器还包括重启模块，所述重启模块用于：

当浏览器打开的页面数量达到设定阈值时，重新启动浏览器。

9.一种基于R语言的网页内容爬取系统，其特征在于：包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行如权利要求1-4任一项所述的一种基于R语言的网页内容爬取方法。

10.一种存储介质，所述存储介质上存有程序，其特征在于：所述程序被处理器执行时实现如权利要求1-4任一项所述的一种基于R语言的网页内容爬取方法。