[发明专利]一种专门针对微博数据采集方式的方法

摘要

本发明是一种专门针对微博数据采集方式的方法，首先，模拟用户登陆到微博账号中，并且记录下登陆信息，然后进行抓取微博中的数据，其中：1）把抓取用户的微博页面作为入口点，爬取起始页面上的微博信息，并且组成有效的结构化数据；2）将用户的UID和当前页面的URL组成新的URL，存入到保存队列中，这样方便获取当前爬取页面内容的UID；3）将爬取到的数据放到本地的数据库中。设计并实现了对实时更新的微博数据的采集工作。能够有效的解决微博限制登录和微博数据实时更新的问题。在微博数据的采集中，由于微博数据量大，存储格式多，存储难度大等原因，造成了对微博数据采集难度很大，因此如何高效的采集微博数据成为一个非常重要的问题。

主权项

一种专门针对微博数据采集方式的方法, 其特征在于,采用模拟登陆的方法，不间断的采集微博数据，实时更新采集到的数据，能极大地提高数据采集量，为以后做数据分析和处理提供了保障，非结构化数据是大数据数据多样化的的一个特点，而点击流中的数据是多样化数据的一部分，依托强大的网站分析工具，得到最细粒度的原始数据Raw Data，非结构化化数据包括文本、视频、文档、音频、甚至地理位置信息，击流中的非结构化数据的文本挖掘应用，是对这些非结构化数据如何更好的应用，针对传统的实时更新数据采集方式上面的问题，改进了传统的微博数据采集方式，这个过程分为两个步骤，首先，模拟用户登陆到微博账号中，并且记录下登陆信息，然后进行抓取微博中的数据，其中：1）把抓取用户的微博页面作为入口点，爬取起始页面上的微博信息，并且组成有效的结构化数据；2）将用户的UID和当前页面的URL组成新的URL，存入到保存队列中，这样方便获取当前爬取页面内容的UID；3）将爬取到的数据放到本地的数据库中。