[发明专利]一种基于分布式的舆情数据实时采集方法和系统

摘要

本发明公开了一种基于分布式的舆情数据实时采集方法及系统，方法包括以下步骤：S1：建立舆情数据网站类库，分类并定义爬取数据项；S2：将数据采集网站列表传输给数据采集服务器，服务器分配相应的爬虫以休眠的模式循环地爬取数据；S3：对爬取到的源网页数据进行标签解析，定位目标数据项位置获取目标数据项；S4：将获取到的结果数据项封装成对应类的统一格式；S5：将封装后的数据存入对应的数据库；S6：生成监测日志文件。本发明架构先进，通过使用工厂模式作为系统的主要设计模式，能够快速生成新实例，将浏览器访问、日志生成、数据封装、代理设置以及队列设置等系统核心功能封装起来，增强系统的可扩展性和可移植性，提高代码的可重用性和系统的可维护性。

主权项

1.一种基于分布式的舆情数据实时采集方法，其特征在于：它包括以下步骤：/nS1：建立舆情数据网站类库，分类舆情数据源站，并定义每类网站的爬取数据项；/nS2：将数据采集网站列表传输给数据采集服务器，数据采集服务器分配相应的爬虫以休眠的模式循环地爬取目标网站数据，采集过程中使用生产者消费者模式并发执行采集任务；/n在数据爬取过程中，系统首先采用工厂设计模式将模拟访问不同的浏览器方法封装起来，并提供统一的实例化接口；在具体实例化的过程中，指定浏览器类型名称即可生产出对应的浏览器访问类；爬虫将根据数据源站的类型与复杂度生成对应的浏览器访问实例；/n其中浏览器访问类包括PhantomJS和Urllib2两种，针对新闻，论坛，博客限制要求较低的网站，为了提高数据采集效率，系统使用Urllib2方式获取页面数据；而像微博这类反扒机制高，用户访问限制较强的网站系统则采用PhantomJS完美的模拟浏览器访问页面，获取数据；针对某些反扒机制较好的网页，系统还需要模拟浏览器登录网站获取到页面cookie文件才可进一步访问页面数据；同时，代理设置模块在浏览器访问过程中自动为程序分配IP地址；/n将URL地址存储队列方法封装起来，并提供统一的实例化接口；采用多级生产者消费者模式并发的爬取数据：一级生产者根据分配的数据源网站地址访问页面获取数据的一级URL地址，并将地址存储到数据队列当中；若当前地址页面不是正文地址，而是正文列表地址，系统将分配二级生成者从当前地址队列中获取URL地址进行数据爬取，直到获取到正文URL地址；消费者负责从正文地址队列中取出URL数据，访问页面获取正文页面内容；/n在此过程中，生产者和消费者彼此之间通过阻塞队列来进行通讯；/n采用队列设置模块提供队列的存取操作，并初始化队列数据库并建立连接；/nS3：对爬取到的源网页数据进行标签解析，定位目标数据项位置获取目标数据项；/nS4：将获取到的结果数据项封装成对应类的统一格式；/nS5：将封装后的数据存入对应的数据库；/nS6：生成监测日志文件。/n