[发明专利]一种基于网页特征的正文信息抽取方法

权利要求书

1.一种基于网页特征的正文信息抽取方法，其特征在于，它包括以下步骤：

(1)、对网页进行预处理；

(2)、将预处理后的网页的所有行标号并且统计每行的字符长度，形成一个初始文本；

(3)、设置行文长度阈值L；

(4)、然后遍历步骤（2）中得到的初始文本，以当前行的行文长度大于等于阈值L的行作为正文文本的起始行，以当前行的行文长度为0的行作为结尾行，所述起始行与结尾行之间的部位成为一个正文组；

(5)、然后继续遍历初始文本中的剩余部分，并且得到初始文本中的所有正文组；

(6)、设置行距阈值D；

(7)、检测所有正文组之间的行距，若检测到存在行距大于阈值D，则删去这个行距下方的所有正文组，然后将其他正文组判定为网页的正文部分；若没有检测到存在行距大于阈值D，则判断所有的正文组均为网页的正文部分。

2.根据权利要求1所述的一种基于网页特征的正文信息抽取方法，其特征在于：步骤（7）后还包括以下步骤，

(8)、从下到上检测步骤（7）中得到的正文部分，直到检测到有句号，然后将句号之前的部分判断为真正的正文部分。

3.根据权利要求1所述的一种基于网页特征的正文信息抽取方法，其特征在于：所述步骤（1）中的预处理包括以下步骤：

a、获取网页标题；

b、将网页中的HTML标签过滤；

c、删除HTML符号实体。