[发明专利]一种高效的互联网动态数据自动筛选与抓取方法及系统

摘要

一种高效的互联网动态数据自动筛选与抓取方法及系统，首先启动浏览器，模拟页面的输入、点击、跳转操作，进行自动筛选、抓取互联网动态数据，并进行分类保存；1)定位某数据，加载切换数据所依赖的主元素列表，开始遍历各主元素；2)查找定位该主元素下所有子元素列表，开始遍历各子元素，并获取选择的子元素所属的主元素的名称；3)循环2)，直至所有主元素再无任何子元素；4)根据以上动态模拟筛选数据的各主、子元素，开始自动抓取动态加载的互联网数据；通过设计的方法自动筛选与抓取互联网动态数据，并进行分类保存。该方法和系统能够高效准确的抓取动态加载的互联网数据，大大提高了互联网动态数据抓取的效率以及正确率。

主权项

一种互联网动态数据自动筛选与抓取方法，其特征是首先启动浏览器，模拟页面的输入、点击、跳转操作，进行自动筛选、抓取互联网动态数据，并进行分类保存；包括如下步骤：步骤一：定位某数据，加载切换数据所依赖的主元素列表，开始遍历各主元素；步骤二：查找定位该主元素下所有子元素列表，开始遍历各子元素，并获取选择的子元素所属的主元素的名称；步骤三：循环步骤二，直至所有主元素再无任何子元素；步骤四：根据以上动态模拟筛选数据的各主、子元素，开始自动抓取动态加载的互联网数据；步骤五：循环步骤一至步骤四，直至所有主元素、子元素被一一遍历筛选结束；互联网动态数据自动抓取的方法，包括如下步骤：步骤一：查找当前数据区域加载的所有数据元素列表，开始遍历定位各数据元素；步骤二：获取该数据元素的编号信息，结合记录所属的主元素、子元素创建用于存储该数据元素内容的本地文件夹；步骤三：查找当前数据元素中的图片元素，保存图片数据至本地对应文件夹；步骤四：替换当前数据元素源代码中的图片元素为文本标签，并保存替换后的文本数据至本地对应的文件夹；步骤五：循环重复步骤二至步骤四，直至当前数据区域内所有数据都抓取完毕；步骤六：判断当前数据区域内页面导航元素是否有下一页内容，若有则开始重复步骤一至步骤五；否则结束。