[发明专利]一种微博信息抓取方法及装置

说明书

技术领域

本发明涉及网络技术领域，具体涉及一种微博信息抓取方法及装置。

背景技术

随着微博的日趋普及，微博用户量也在不断的稳步上升，每天数以千万计的用户发布的微博所包含的信息量是不可小觑的。为了从用户发布的众多微博中提取出新闻热点，或者根据用户发布的微博分析用户的兴趣，进行微博营销，就需要及时全面的抓取用户所发布的微博信息。

目前的信息抓取过程主要是调用微博平台API来实现，但是出于对微博平台的维护成本以及信息保留等方面的考虑，各大微博平台对信息抓取的次数以及频率都有所限制，即抓取资源有限。为了在有限的资源内，尽量多的抓取高质量的微博信息，就需要设置一个合适的微博信息抓取周期，并按照抓取周期向微博平台发送抓取请求，获取用户发布的微博信息。

但是，众所周知的，不同的微博用户具有其各自的特性，即不同用户的发帖行为会有所不同，甚至相同用户在不同时间的发帖行为也不尽相同，若按照固定周期抓取不同用户、或者同一用户在不同时间发布的微博信息，那么每次抓取过程获得的信息量必然存在较大差别。而若单次抓取过程获得的信息量较少，甚至没有抓取到任何信息，则可认为浪费了这次抓取资源，致使信息抓取效率低下。

发明内容

本发明实施例的微博信息抓取方法及装置，通过变周期方式提高微博信息的抓取效率。

为此，本发明实施例提供如下技术方案：

一种微博信息抓取方法，所述方法包括：

获取用户发布的历史微博，并根据所述历史微博的发布时间建立所述历史微博与预设时间点间的映射关系，所述预设时间点通过预设步长选取；

将映射历史微博数的偏差在预设范围内的至少两个相邻预设时间点合并为一个时间段；

根据每个时间段的时间长度及其映射的每条历史微博的权重确定每个时间段的抓取周期；

根据每个时间段的抓取周期以及抓取初始时间点预测用户再次发布微博的时间点，并在该预测时间点上进行微博信息抓取。

优选的，所述将映射历史微博数的偏差在预设范围内的至少两个相邻预设时间点合并为一个时间段，包括：

统计每个预设时间点映射的历史微博数；

判断相邻预设时间点映射的历史微博数之间的偏差是否在预设范围内，如果是，则将所述相邻预设时间点合并为一个时间段。

优选的，预先设置一个合并窗，所述合并窗的窗口大小用于表示能够合并的预设时间点的个数，则

所述将映射历史微博数的偏差在预设范围内的至少两个相邻预设时间点合并为一个时间段，包括：

统计每个预设时间点映射的历史微博数；

判断位于所述合并窗内的预设时间点映射的历史微博数的偏差是否在预设范围内：

如果是，则将所述合并窗内的预设时间点合并为一个时间段；

如果否，则判断所述合并窗外是否存在未判断预设时间点，如果存在，则将所述合并窗顺序后移一个预设时间点，继续执行所述判断位于所述合并窗内的预设时间点映射的历史微博数的偏差是否在预设范围内的步骤，直至所述合并窗外不存在未判断预设时间点时结束本流程。

优选的，所述方法还包括：

在判断所述合并窗外不存在未判断预设时间点之后，

将合并后的时间段作为预设时间点，继续执行所述判断位于所述合并窗内的预设时间点映射的历史微博数的偏差是否在预设范围内的步骤，直至相邻预设时间点映射的历史微博数之间的偏差超过所述预设范围时结束本流程。

优选的，预先设置一个合并上限，所述方法还包括：

将合并后的时间段作为预设时间点之后，判断所述预设时间点映射的历史微博数是否超过所述合并上限，如果否，则继续执行所述判断位于所述合并窗内的预设时间点映射的历史微博数的偏差是否在预设范围内的步骤，直至所述预设时间点映射的历史微博数超过所述合并上限时结束本流程。

一种微博信息抓取装置，所述装置包括：

映射单元，用于获取用户发布的历史微博，并根据所述历史微博的发布时间建立所述历史微博与预设时间点间的映射关系，所述预设时间点通过预设步长选取；

合并单元，用于将映射历史微博数的偏差在预设范围内的至少两个相邻预设时间点合并为一个时间段；

周期确定单元，用于根据每个时间段的时间长度及其映射的每条历史微博的权重确定每个时间段的抓取周期；

预测单元，用于根据每个时间段的抓取周期以及抓取初始时间点预测用户再次发布微博的时间点，并在该预测时间点上进行微博信息抓取。

优选的，所述合并单元包括：