[发明专利]一种文本内容提取方法和装置

权利要求书

1.一种文本内容提取方法，其特征在于，包括：

将输入的超文本标记语言HTML网页分解为多个模块，根据各模块在网页布局中的位置，确定各模块的位置得分，并计算各模块的文本长度；

提取各模块包含的链接地址，统计所有链接地址中除协议字符外使用频率最高的字符内容，将包含所述使用频率最高的字符内容的各链接地址标记为有效链接，将不包含所述使用频率最高的字符内容的各链接地址标记为无效链接；

根据综合得分=模块的位置得分×（模块的文本长度+模块内有效链接的文字长度）/模块内无效链接的文字长度，确定各模块的综合得分，并判定综合得分超过设定阈值的模块为内容模块。

2.如权利要求1所述的方法，其特征在于，所述方法中，使用Table标签或Div标签将输入的HTML网页分解为多个模块。

3.如权利要求2所述的方法，其特征在于，所述方法中，若分解得到的模块还能够继续分解且未出现标签混杂的情况，则对分解后的模块继续分解。

4.如权利要求1所述的方法，其特征在于，所述方法中，在标记有效链接和无效链接时，统一计算各链接内的文字长度；或者，在确定各模块的综合得分时，分别计算各模块包含的每个链接内的文字长度。

5.如权利要求1至4中任一项所述的方法，其特征在于，

所述方法中，计算各模块的文本长度具体包括：对于每个模块，提取出模块的HTML标签，根据所述HTML标签获取对应模块中包含的文本信息，计算该文本信息的长度，得到对应模块的文本长度；

所述方法中，通过achor标签提取出各模块的链接地址。

6.一种文本内容提取装置，其特征在于，包括：

网页处理单元，用于将输入的超文本标记语言HTML网页分解为多个模块，根据各模块在网页布局中的位置，确定各模块的位置得分，并计算各模块的文本长度；

标记处理单元，用于提取各模块包含的链接地址，统计所有链接地址中除协议字符外使用频率最高的字符内容，将包含所述使用频率最高的字符内容的各链接地址标记为有效链接，将不包含所述使用频率最高的字符内容的各链接地址标记为无效链接；

内容提取单元，用于根据综合得分=模块的位置得分×（模块的文本长度+模块内有效链接的文字长度）/模块内无效链接的文字长度，确定各模块的综合得分，并判定综合得分超过设定阈值的模块为内容模块。

7.如权利要求6所述的装置，其特征在于，所述网页处理单元，具体用于使用Table标签或Div标签将输入的HTML网页分解为多个模块。

8.如权利要求7所述的装置，其特征在于，所述网页处理单元，还用于判断分解得到的模块是否还能够继续分解且未出现标签混杂的情况，若是，则对分解后的模块继续分解。

9.如权利要求6所述的装置，其特征在于，

所述标记处理单元，还用于在标记有效链接和无效链接时，统一计算各链接内的文字长度；

或者，所述内容提取单元，还用于在确定各模块的综合得分时，分别计算各模块包含的每个链接内的文字长度。

10.如权利要求6至9中任一项所述的装置，其特征在于，

所述网页处理单元，具体用于对于每个模块，提取出模块的HTML标签，根据所述HTML标签获取对应模块中包含的文本信息，计算该文本信息的长度，得到对应模块的文本长度；

所述标记处理单元，具体用于通过achor标签提取出各模块的链接地址。