[发明专利]一种高效的互联网动态数据自动筛选与抓取方法及系统

说明书

技术领域

本发明涉及网络数据抓取技术领域，特别是一种网络动态数据抓取方法及系统。

背景技术

随着信息化时代的到来，互联网蕴藏着丰富的公开数据资源，各类学术、教育、商品等信息已遍布于各网络平台。出于安全性、及时性、快速性因素考虑，大部分的互联网数据都是通过Web动态加载技术呈现给用户，同时对于一些重要的资源，都需用户登录后才能访问，这使得互联网数据的抓取变得较为困难。

传统的互联网数据抓取基本都是基于指定网址的静态html内容，通过爬虫工具将数据内容下载后进行数据的解析与提取。通过网址解析网页的方式只能获取给定的数据，不能实现与用户之间的交互达到筛选的目的，同时对于js以及ajax技术动态加载的html内容，传统的数据抓取系统已毫无办法。因此对于此类数据的抓取，考虑通过操作浏览器，模拟人为的登录、点击等操作达到互联网数据动态加载渲染，保证数据的完整性。

本发明针对动态加载的互联网数据筛选与抓取进行了方法设计以及系统实现。首先启动浏览器，模拟页面的输入、点击、跳转等操作，再通过设计的方法进行自动筛选、抓取互联网动态数据，并进行分类保存。经实践，该方法和系统能够高效准确的抓取动态加载的互联网数据，大大提高了互联网动态数据抓取的效率以及正确率。

发明内容

本发明目的是，在现有技术背景下，提出了一种高效的互联网动态数据自动筛选与抓取方法及系统。主要针对动态加载的互联网数据自动筛选与抓取进行了方法设计以及系统实现。首先启动浏览器，模拟页面的输入、点击、跳转等操作，通过设计的方法进行自动筛选、抓取互联网动态数据，并进行分类保存。该方法和系统能够高效准确的抓取动态加载的互联网数据，大大提高了互联网数据动态数据抓取的效率以及正确率。

本发明技术方案是：一种高效的互联网动态数据自动筛选与抓取方法，首先启动浏览器，模拟页面的输入、点击、跳转等操作，通过设计的方法进行自动筛选、抓取互联网动态数据，并进行分类保存；其中互联网动态数据自动筛选的方法包括如下步骤：

步骤一：定位某数据，加载切换数据所依赖的主元素列表，开始遍历各主元素；

步骤二：查找定位该主元素下所有子元素列表，开始遍历各子元素，并获取选择的子元素所属的主元素的名称；

步骤三：循环步骤二，直至所有主元素再无任何子元素；

步骤四：根据以上动态模拟筛选数据的各主、子元素，开始自动抓取动态加载的互联网数据；

步骤五：循环步骤一至步骤四，直至所有主元素、子元素被一一遍历筛选结束。

互联网动态数据自动抓取的方法，包括如下步骤：

步骤一：查找当前数据区域加载的所有数据元素列表，开始遍历定位各数据元素；

步骤二：获取该数据元素的编号信息，结合记录所属的主元素、子元素创建用于存储该数据元素内容的本地文件夹；

步骤三：查找当前数据元素中的图片元素，保存图片数据至本地对应文件夹；

步骤四：替换当前数据元素源代码中的图片元素为文本标签，并保存替换后的文本数据至本地对应的文件夹；

步骤五：循环重复步骤二至步骤四，直至当前数据区域内所有数据都抓取完毕；

步骤六：判断当前数据区域内的页面导航元素是否有下一页内容，若有则开始重复步骤一至步骤五；否则结束。

本发明公开一种高效的互联网动态数据抓取系统，包括：系统初始化服务模块、网站模拟登录模块、动态数据自动筛选模块、动态数据自动抓取模块。

所述系统初始化服务模块，用于初始化系统运行的全局变量，包括数据存储根目录，浏览器模拟操作驱动对象，浏览器页面加载超时时间，加载已抓取的数据列表信息；

所述网站模拟登录模块，用于启动浏览器，并打开网站主页，模拟登录；

所述动态数据自动筛选模块，利用动态数据自动筛选方法，快速筛选切换各数据；

所述动态数据自动抓取模块，利用动态数据自动抓取方法，对数据进行自动分类、下载至本地。

有益效果：本发明针对动态加载的互联网数据抓取进行了方法设计以及系统实现。本发明方法和系统能够高效准确的抓取动态加载的互联网数据，大大提高了互联网动态数据抓取的效率以及正确率。

附图说明

图1是本发明以动态课题为实施例的数据自动筛选方法的流程示意图。

图2是本发明以动态课题为实施例的数据自动抓取方法的流程示意图。

图3是本发明以动态课题为实施例的数据抓取系统的结构示意图。

具体实施方式