[发明专利]一种专门针对微博数据采集方式的方法

权利要求书

1.一种专门针对微博数据采集方式的方法, 其特征在于,采用模拟登陆的方法，不间断的采集微博数据，实时更新采集到的数据，能极大地提高数据采集量，为以后做数据分析和处理提供了保障，非结构化数据是大数据数据多样化的的一个特点，而点击流中的数据是多样化数据的一部分，依托强大的网站分析工具，得到最细粒度的原始数据Raw Data，非结构化化数据包括文本、视频、文档、音频、甚至地理位置信息，击流中的非结构化数据的文本挖掘应用，是对这些非结构化数据如何更好的应用，针对传统的实时更新数据采集方式上面的问题，改进了传统的微博数据采集方式，这个过程分为两个步骤，首先，模拟用户登陆到微博账号中，并且记录下登陆信息，然后进行抓取微博中的数据，其中：

1）把抓取用户的微博页面作为入口点，爬取起始页面上的微博信息，并且组成有效的结构化数据；

2）将用户的UID和当前页面的URL组成新的URL，存入到保存队列中，这样方便获取当前爬取页面内容的UID；

3）将爬取到的数据放到本地的数据库中。

2.根据权利要求1所述的方法，其特征在于，在组成新的URL过程分为四个步骤，

1）人工初试化一个新的URL，设置为空；

2）进行页面数据采集的过程中，读取采集页面的URL，将此URL放入到初始化的URL中；

3）微博会为每一个登录用户获取一个UID和微博的一些个人信息，将此内容页放到刚刚初试话的URL中；

4）采用字符串连接的方式，组成新的URL模块，用户的信息结构包括：用户的UID和用户的个人信息组成的结构化数据。