[发明专利]基于事件的微博采集系统及方法

说明书

技术领域

本发明涉及的是一种信息安全技术领域的系统及方法，具体是一种基于事件的微博采集系统及方法，通过该系统获取的微博信息可进行数据挖掘并用于数据分析。

背景技术

现有的采集系统大多采用直接对网站进行采集的方式。如刘兰,吴振新在《Web Archive 信息采集流程及关键问题研究》（情报理论与实践,2009）以及林颖,吴振新,张智雄在《WebArchive存档策略分析》（现代图书情报技术,2009.)。这些采集系统的缺陷主要在于：首先，这样效率低下，对采集系统负载要求很高。其次，需要面对各种不同的网站情况，对采集源的格式分析比较复杂，采集系统很难及时应对URL的频繁变化。最后，传统的采集系统大多以存档为主要目的，缺乏对采集内容的分析和重组，在浩瀚的内容面前很难及时发现热点和趋势。现有的微博采集技术通常采用API进行微博信息采集，此方法受API使用限制较大，进行频繁采集以及时更新数据，无法满足大信息量获取的需求。

经过对现有技术的检索发现，中国专利文献号CN102609460A，公开日2012‐07‐25，公开了一种微博客数据采集方法及系统，该技术首先初始化用户数据；对获得的用户特征进行提取，取得可用于进行用户确定的特征数据；对提取出的数据进行过滤，过滤后的数据特征进行用户类型确定；对于不同类别的用户采用不同策略进行数据采集。该方法采集之前必须先基于对用户的分类，不能满足舆情特别是突发事件相关庞大信息量的快速采集。

万久士、李翔、林祥在《基于JSSH实现身份认证网站信息采集》(《计算机技术与发展》2009年第10期)中提出了基于JSSH（java脚本外壳服务器，java Script Shell Server）实现身份认证网站发布信息采集方案。但该技术仅解决了动态新闻和论坛信息的获取，无法实现信息的自动整合，自动化程度较低，无法实现抽象数据的集合归类，难以满足工业需求。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于事件的微博采集系统及方法，能够将每一条原本非结构化数据变成结构化数据，从而实现抽象数据的具体化，供后续数据挖掘使用。

本发明是通过以下技术方案实现的：

本发明涉及一种基于事件的微博采集系统，包括：URL构造模块、JSSH客户端模块、浏览器采集模块以及HTML解析模块，其中：URL构造模块与JSSH客户端模块相连接并传输采集的URL信息，JSSH客户端模块与浏览器采集模块相连接并传输JSSH指令，浏览器采集模块与HTML解析模块相连接并传输HTML文本信息。

本发明涉及上述系统的采集方法，包括以下步骤：

第一步，通过JSSH客户端传递浏览器指令，连接到微博登录页面进行登录动作以模拟浏览器自动登录过程；

第二步，解析页面上的URL链接并对URL链接进行匹配：根据策略词构造URL链接，并向浏览器传输访问URL的指令，当浏览器打开指令中所含URL链接的网页后，将该网页上的HTML内容转储成HTML文件。

第三步，将第二步获取到HTML文件中的链接逐条与规则进行匹配，进一步打开浏览器链接至匹配规则的链接的网页，并获取该网页的源代码

所述的规则是指：对于微博采集信息录入有效且包含微博内容的页面的共同特征规则，

所述的匹配是指：当链接符合规则掩码时认为匹配，该掩码是指：当前微博搜索结果中页面翻页链接所对应的URL地址，将URL中页码参数的赋值更改为*号的通配表示。

第四步，对第三步采集得到的网页源代码进行解析，生成结构化数据并存入不同的数据仓库，实现微博信息的结构化录入。

所述的解析是指：从HTML中提取数据库对应字段的所需要的内容

所述的结构化数据包括：微博作者ID、作者昵称、微博内容、微博内容中的缩略图URL、微博内容中的原图URL、微博发布时间、微博发布客户端。

技术效果

本发明和现有技术相比，采用浏览器模拟技术，可以真实模拟人访问微博，不受API使用权限的限制，可以做到频繁采集，满足大信息量的获取需求，同时，基于事件策略触发获取的机制，可以满足对特定舆情相关信息的采集。

附图说明

图1为本发明系统结构示意图。

图2为实施例流程示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1