[发明专利]基于科技服务信息智能抓取系统数据收集方法

摘要

本发明涉及一种基于科技服务信息智能抓取系统数据收集方法，包括以下步骤：①数据抓取：爬虫的配置，用户通过客户端的配置模块、启动模块发布抓取任务，并设置要抓取的网站及设定相应的规则；②定时抓取任务：根据用户发布的任务动态加载到定时抓取任务列表中；③下载页面；④页面解析：解析队列中的页面；⑤待抓取URL；⑥数据处理和存储：对页面数据进行解析提取处理，对提取出的二维结构数据进行存储；本发明能够满足爬虫通用性要求，适合科技服务系统抓取需求，扩展方便，插件式开发；在具体业务逻辑上增加解析规则配置，抓取网页宽度、深度，抓取线程，数据库配置或索引配置，就可以开启智能化抓取采集信息。

主权项

1.基于科技服务信息智能抓取系统数据收集方法，其特征在于，其包括以下步骤：①数据抓取：爬虫的配置，用户通过客户端的配置模块、启动模块发布抓取任务，并设置要抓取的网站及设定相应的规则，包括编码、抓取间隔、超时时间、重试次数；②定时抓取任务：根据用户发布的任务动态加载到定时抓取任务列表中；③下载页面：根据用户设置的抓取规则和抓取流程，进行宽度优先抓取算法开始遍历抓取网页，并将抓取的页面下载下来，并放置到将要进行页面解析队列中等待页面解析；④页面解析：解析队列中的页面，利用Jsoup技术根据要抓取的信息和设置的抓取规则进行页面的解析，提取用户需要的数据信息；⑤待抓取URL：采用链接权重算法将解析过程中发现的新链接放置待抓取URL队列中等待线程的处理；⑥数据处理和存储：对页面数据进行解析提取处理，对提取出的二维结构数据进行存储；所述步骤①的配置模块、启动模块位于后台管理系统中，爬虫初始入口地址通过指定的爬虫入口网址列表文件进行静态导入，或者通过将爬虫入口网址放到数据库中进行指定；所述步骤③的抓取规则是对爬虫入口地址是将每一条合法的Http网址根据链接权重算法一行一条的放入到入口列表文件中，或是一条网址在数据库中存放一行，所述抓取流程如下：根据配置文件中提供的爬虫入口网址列表进行抓取，按照配置的抓取深度进行遍历，首先取一条网址进行抓取，然后读取第一层解析规则，将第一层的解析规则解析后得到的数据传递到第二层，第二层进行深度抓取的时候，采用第一层解析提取到的网址进行再次抓取，并根据解析规则列表中的规则进行解析，并将解析得到的数据同第一层进行合并，传递到第三层，以此类推，直到配置的最大层数，一条深度抓取结束后，会依次向上返回获取的数据，并根据数据配置将抓取提取到的数据保存到指定的存储介质中，所述的存储介质是磁盘空间上的自定义的数据结构文件，或者是分布式键值对形式的数据库；所述步骤③的宽度优先抓取算法指的是大部分网站都是按照树状图来完成页面分布的，宽度优先抓取策略就是按照树状图结构，优先抓取同级链接，待同级链接抓取完成后，再抓取下一级链接；所述步骤⑤的链接权重算法，即当蜘蛛完成抓取页面并入口后，马上进行权重分配，将权重重新分配到待抓取链接库，然后蜘蛛根据权重高低来进行抓取；所述的链接权重算法，其算法公式为：其中R代表链接所获得的pagerank，S代表链接所包含的链接数量，Q代表是否参与传递，β代表阻尼因数；为了解决AngularJS这种Single‑page application框架渲染的页面，使用selenium，它定义了一个Downloader，在下载页面时，用浏览器内核进行渲染。