[发明专利]一种多记录网页的信息抽取系统及方法

权利要求书

1.一种多记录网页的信息抽取系统，其特征在于，包括：

一个网页预处理模块，用于将HTML网页转换为XHTML网页，并过滤网页中用来渲染显示效果的标签，然后根据标签的嵌套结构，构建文档次序树；

一个记录区域定位模块，用于接收待抽取文档的文档次序树，并利用横向层次分析法在所述文档次序树中定位出记录区域的位置；

一个记录分隔符识别模块，用于从所述记录区域中找到记录之间的分隔符并进行存储；以及

一个记录输出模块，用于将记录区域里所有文本节点按层次顺序遍历输出，在碰到分隔符时输出分隔线，得到最终的抽取结果。

2.根据权利要求1所述的一种多记录网页的信息抽取系统，其特征在于，所述网页预处理模块包括SAX解析器，用于对XHTML网页代码进行解析，以构建文档次序树。

3.根据权利要求2所述的一种多记录网页的信息抽取系统，其特征在于，所述SAX解析器包括4个事件处理器，分别为startDocument事件处理器、endDocument事件处理器、startElement事件处理器、endElement事件处理器；所述4个事件处理器分别包含了预先定义好的一系列操作，所述4个事件处理器按照解析标签的顺序依次被触发、执行。

4.根据权利要求1所述的一种多记录网页的信息抽取系统，其特征在于，所述记录区域定位模块利用横向层次分析法在所述文档次序树中定位出记录区域的位置，包括以下步骤：

步骤a1：先序遍历文档次序树，统计并记录每个节点相同子节点个数，找到相同子节点个数最多的节点，并将以该节点为根的子树确定为候选记录区域1且该节点要满足其子树内某个文本节点字符数大于文档次序树文本节点平均字符数；

步骤a2：在对文档次序树进行遍历的同时，确定文档次序树中位于中间子树且字符数最多的文本节点位置；确定了文本节点位置即确定了从该节点到文档次序树根节点的唯一路径，选择该路径上相同子节点数最多的节点，将以该节点为根的子树确定为候选记录区域2；

步骤a3：如果候选记录区域1的根节点和候选记录区域2的根节点相同，则候选记录区域1和候选记录区域2所代表的子树为最终记录区域，否则计算两棵子树根节点相同子节点个数的商值，引入阈值θ，如果商值大等于阈值，说明记录条数少，需要依靠最多字符数文本节点来准确定位记录区域，选择候选记录区域2为最终记录区域；如果商值小于阈值，说明记录条数多，选择候选记录区域1作为最终记录区域。

5.根据权利要求1所述的一种多记录网页的信息抽取系统，其特征在于，所述记录分隔符识别模块从所述记录区域中查找记录之间的分隔符，包括以下步骤：

步骤b1：将根节点的所有子节点定义为记录区域节点块，在记录区域节点块中利用双向搜索方法查找能覆盖最多节点的非重叠重复子块；利用双向搜索方法查找重复子块的方法为：首先确定记录区域内字符数最多的文本节点，然后以该文本节点为基准，双向拓展来寻找重复子块；

步骤b2：在记录区域节点块中进行重复子块的匹配，在所有匹配到的第一个节点位置插入分隔符，以对记录区域内记录进行分割。

6.一种多记录网页的信息抽取方法，其特征在于，包括以下步骤：

步骤1：由网页预处理模块将HTML网页转换为XHTML网页，并过滤网页中用来渲染显示效果的标签，然后根据标签的嵌套结构，构建文档次序树；

步骤2：由记录区域定位模块接收来自预处理模块的文档次序树，通过对所述文档次序树的横向层次分析在所述文档次序树中定位出记录区域块的位置；

步骤3：由记录分隔符识别模块接收来自记录区域定位模块的记录区域块位置，从记录区域块中找到记录之间的分隔符并进行存储；

步骤4：由记录输出模块将记录区域里所有文本节点按层次顺序遍历输出，在碰到分隔符时输出分隔线，得到最终的抽取结果。

7.根据权利要求6所述的一种多记录网页的信息抽取方法，其特征在于，在步骤1中，所述采用SAX解析器对网页文档进行解析，以构建文档次序树。