[发明专利]一种基于微博平台的用户数据采集存储系统及方法

权利要求书

1.一种基于微博平台的用户数据采集存储系统，其特征在于：包括登录模块、数据采集模块、数据存储模块和API检测模块，所述登录模块与数据采集模块连接，数据采集模块和数据存储模块连接，登录模块负责记录使用者的登录账号以及所需要采集的对象的相关信息，数据采集模块主要负责对采集对象的微博进行下载操作，API检测模块负责检测API的调用次数是否超过限制，数据存储模块主要负责数据的存储功能。

2.如权利要求1所述的一种基于微博平台的用户数据采集存储系统，其特征在于：所述对象的相关信息为调查者的用户名称，账号以及手机号或邮箱，所述系统根据输入的信息通过调用API获取出采集对象的ID。

3.如权利要求1所述的一种基于微博平台的用户数据采集存储系统，其特征在于：所述API检测模块负责检测API的调用次数是否超过限制时微博的开放接口限制了用户在调用API时每段时间只能够使用固定的次数，限制的时间单位有每小时、每天；限制的维度有授权用户以及IP地址。

4.一种如权利要求1-3任意一项所述的基于微博平台的用户数据采集存储方法，其特征在于：所述方法步骤如下：

步骤一：首次使用该系统时需要用户填写已获得调用权限的用户账号，输入完成后，以后的登录直接跳过此步骤，用户也可在登录完成后在配置中对登录的账号进行修改；

步骤二：判断采集队列是否为空，若采集队列为空则转入步骤三；否则转入步骤五；

步骤三：填写需要进行数据采集的新浪微博信息，系统会根据输入的信息调用API获取用户ID；

步骤四：将数据采集对象的用户ID置入采集队列中，系统根据宽度搜索算法，筛选出用户关注的前若干个对象，作为待采集数据的对象置入采集队列中；

步骤五：每次均从采集队列中取出队首元素，调用user_timeline获取用户的微博内容，默认的微博下载数量为用户发表的所有微博；

步骤六：系统根据下载的博文内容匹配标签，系统预先设置了一百个常用分类的标签，若下载的数据中不包括预设的标签，系统提示用户手动选择标签或添加新的标签，用户也可以在配置栏中更改标签；

步骤七：将下载的微博数据以及标签存储在本地的MySQl数据库中；

步骤八：判断调用API是否超过使用次数的限制，如果超过了则登录新的账号或者更换IP地址，之后转向步骤二采集队列的判空，如果没有超过次数限制，则直接转向步骤五，从采集队列取出队首元素进行微博数据的采集。

5.如权利要求4所述的一种基于微博平台的用户数据采集存储方法，其特征在于：所述步骤四中筛选对象的个数默认为两百个，采集对象的个数在系统配置中进行更改。

6.如权利要求4所述的一种基于微博平台的用户数据采集存储方法，其特征在于：所述步骤五中使用者根据需求自行设置博文下载的相关参数，相关参数为下载开始至截至时间、下载的数量及下载的微博类型。