[发明专利]一种自动解析论坛网站数据的方法

权利要求书

1.一种自动解析论坛网站数据的方法，其特征在于，所述方法包括以下步骤：

S1、生成论坛解析插件模板：收集论坛格式样例，生成论坛解析插件模板并存储在论坛解析插件模板中心库中，具体过程为：

S11：通过人工从互联网中收集大量论坛网站；

S12：对这些论坛网站的论坛格式进行分析，将具有共性的论坛网站整理成一个统一论坛格式，生成统一的版块页正则匹配规则、主题页正则匹配规则和回复页正则匹配规则；

S13：将这些论坛格式形成相应的论坛解析插件模板，每一种论坛格式都定义一个唯一标识，所述唯一标识都会生成一个对应的通用的论坛解析插件模板，并记录关联关系，存储于论坛解析插件模板中心库中；

S2、筛选论坛解析插件模板：获取待解析论坛网站的网页源码，根据网页源码从论坛解析插件模板中心库中筛选出合适的论坛解析插件模板，具体过程为：

S21：获取待解析论坛网站的网页源码，根据网站链接URL判断该论坛网站是否已经有指定的论坛解析插件模板；若有，则退出筛选，进入S3；否则进入S22；

S22：加载论坛解析插件模板中心库中的所有论坛解析插件模板，存放在列表中，进入S23；

S23：扫描列表，判断是否已扫描到最后一个，若是，则进入S28，否则进入S24；

S24：根据论坛解析插件模板的版块页正则匹配规则对论坛网页进行版块页的提取，判断提取的版块页链接URL个数是否大于0，若是，则进入S25；否则返回S23，扫描下一个论坛解析插件模板；

S25：随机选取S24提取的一个版块页链接URL，根据论坛插件解析模板的主题页正则匹配规则对版块页进行主题页的提取，判断该版块页提取的主题页链接URL个数是否大于0，若是，则进入S26；否则返回S23，扫描下一个论坛解析插件模板；

S26：随机选取S25提取的一个主题页链接URL，根据论坛插件解析模板的回复页正则匹配规则对主题页进行回复页的提取，判断该主题页提取的回复页链接URL个数是否大于0，若是，则进入S27；否则返回S23，扫描下一个论坛解析插件模板；

S27：指定该论坛插件解析模板为该论坛网站的论坛解析插件模板，并记录关联关系，以后该论坛网站都将默认用该论坛解析插件模块进行解析；

S28：对该论坛网站进行分析，形成一个新的论坛解析插件模板，并更新于论坛解析插件模板中心库中；

S3、解析论坛网站数据：根据筛选好的论坛解析插件模板的解析规则对论坛网站数据进行解析并存储。

2.如权利要求1所述的自动解析论坛网站数据的方法，其特征在于，论坛格式包括Discuz、phpwind、byr、dvbbs、LeadBBS、bbsxp、BbsMax和YxBBs。

3.如权利要求1所述的自动解析论坛网站数据的方法，其特征在于，S3的具体过程为：

S31：获取论坛网页，下载论坛网页源码，将所述论坛网页源码放入待采集队列；

S32：从待采集队列获取起始采集网页链接URL，根据指定的论坛解析插件模板中的版块页正则匹配规则，对起始采集网页提取版块页链接URL，存放在第一队列中；

S33：从第一队列中逐个取出版块页链接URL，根据指定的论坛解析插件模板中的主题页正则匹配规则，对版块页网页提取主题页链接URL，存放在第二队列中；

S34：从第二队列中逐个取出主题页链接URL，根据指定的论坛解析插件模板中配置好的主题页提取相关规则和回复页正则匹配规则，对主题页网页提取出主题页的标题、作者、发布时间、最后回复人、最后回复时间及回复页链接URL，存放在第三队列中；

S35：从第三队列中逐个取出回复页链接URL，根据指定的论坛解析插件模板中配置好的回复页提取相关规则，对回复页网页提取出回复人、回复内容和回复时间，生成结构化数据，记录主题页和回复页的结构化数据，并挖掘关联关系。