[发明专利]一种WEB信息抽取方法

摘要

本发明公开了一种WEB信息抽取方法，该方法基于语义标记，包括正文抽取方法和评论抽取方法，通过将语义标记与页面的布局特征相结合，构造了页面的线性序列表示模型，根据多条评论和其语义标记之间存在明显的重复性原理获得评论回复区间，获得回复区间后即可抽取出网页的多条评论。该方法可以实现网站信息的准确抽取，并有效提高抽取效率。

主权项

一种WEB信息抽取方法，该方法基于语义标记，包括正文抽取方法和评论抽取方法，其特征在于：所述正文提取方法分成以下步骤实现：第一步，设从线性序列的头开始顺序遍历，遇到第一个F2评论属性的语义标记停止，则最后一个F2正文属性的语义标记节点的位置为POSlast，第一个具有F3评论属性的语义标记节点的位置为POSfirst；第二步，将页面线性序列中0..POSfirst‑1的子序列设为初始正文区，在该区域内选择一个信息量最大的文本块作为正文内容，设该正文内容节点对应的位置为POSarticle；第三步，将调整后的正文区序列区间的终止位置设置为POSlast=max(POSlast，POSarticle)；第四步，评论区序列区间的起始位置设置为POSfirst=max(POSlast，POSarticle)+1，从而完成正文区和评论区的切分；其中，F2是表示正文结束特征的语义标记,F3是表示评论开始特征的语义标记。