[发明专利]基于事件的微博采集系统及方法

权利要求书

1.一种基于事件的微博采集系统，其特征在于，包括：URL构造模块、JSSH客户端模块、浏览器采集模块、HTML解析模块，其中：URL构造模块与JSSH客户端模块相连接并传输采集的URL信息，JSSH客户端模块与浏览器采集模块相连接并传输JSSH指令，浏览器采集模块与HTML解析模块相连接并传输HTML文本信息。

2.一种基于权利要求1所述系统的微博采集方法，其特征在于，包括以下步骤：

第一步，通过JSSH客户端传递浏览器指令，连接到微博登录页面进行登录动作以模拟浏览器自动登录过程；

第二步，解析页面上的URL链接并对URL链接进行匹配：根据策略词构造URL链接，并向浏览器传输访问URL的指令，当浏览器打开指令中所含URL链接的网页后，将该网页上的HTML内容转储成HTML文件

第三步，将第二步获取到HTML文件中的链接逐条与规则进行匹配，进一步打开浏览器链接至匹配规则的链接的网页，并获取该网页的源代码；

第四步，对第三步采集得到的网页源代码进行解析，生成结构化数据并存入不同的数据仓库，实现微博信息的结构化录入。

3.根据权利要求2所述的方法，其特征是，所述的规则是指：对于微博采集信息录入有效且包含微博内容的页面的共同特征规则。

4.根据权利要求2所述的方法，其特征是，所述的匹配是指：当链接符合规则掩码时认为匹配，该掩码具体为：当前微博搜索结果中页面翻页链接所对应的URL地址，将URL中页码参数的赋值更改为*号的通配表示。

5.根据权利要求4所述的方法，其特征是，所述的掩码为：http://s.weibo.com/weibo/”＋当前策略中文URL转码”＋“&”＋参数“b＝1”＋“page＝＊，＊为整数。

6.根据权利要求2所述的方法，其特征是，所述的网页源代码的获取方式操作为：利用浏览器接口中的HTML函数，将浏览器解析完JavaScript的页面HTML输出到指定文件。

7.根据权利要求2所述的方法，其特征是，第四步中，所述的解析是指：从HTML中提取数据库对应字段的所需要的内容；

所述的结构化数据包括：微博作者ID、作者昵称、微博内容、微博内容中的缩略图URL、微博内容中的原图URL、微博发布时间、微博发布客户端。