[发明专利]基于块文字占比的网页正文信息提取方法

权利要求书

1.基于块文字占比的网页正文信息提取方法，其特征在于，包括以下步骤：

步骤1、将网页文件读入字符串中，遍历字符串，对其中的字符进行大小写统一处理；

步骤2、删除与主题信息无关的标签内容；

步骤3、根据标签配对从字符串中取出head和body两部分；

步骤4、在head部分中查找并提取网页正文标题字符串；

步骤5、进行网页分块；

步骤6、清洗无关的内容块；

步骤7、计算每个内容块在全文中的占比，并排序；

步骤8、进行标题匹配，确定正文块位置；

步骤9、从正文块中提取网页正文；

步骤6中，所述清洗无关的内容块，具体包括：

将包含常见非正文内容关键词的块从结果集中剔除；计算出各个内容块中中文文本字符数、超链接文本字符数和字符总数，将超链接文本字符数占比大于阈值的块从结果集中剔除；

步骤7中，所述计算每个正文块在全文中的占比并排序，具体包括：

对网页文档总的字符数量进行统计，并计算每个内容块中中文文本字符数在整个网页文档字符数中所占比例p_n(n＝1,2,3...)，按比例从高到低对所有内容块进行排序；

步骤8中，所述进行标题匹配，确定正文块位置，具体包括：

标题匹配：在对内容块排序后，取内容块列表里中文字符数占比居于前5的内容块，将其内容依次与获取到的网页正文标题字符串进行匹配：假设网页正文标题字符串长度为h1，在网页内容块中查找与网页正文标题匹配的最大公共字符串，此字符串长度为h2，定义网页正文标题相似率为：p＝h2/h1；

确定正文块位置：取p的阈值为70％，在中文字符数占比居于前5的内容块中，若只存在一个p70％的内容块，则取该块作为网页正文内容块；若存在多个p70％的内容块，说明在网页布局时，使用了多个块级元素嵌套的格式，因此在判定时，取其中p_n值较小的一块作为网页正文内容块；

步骤9中，所述从正文块中提取网页正文，具体包括：

在确定正文块位置后，对正文块中内容进行分析处理：

使用正则表达式匹配各类型标签，并对不同标签内容按照以下规则进行处理：

对于块级元素标签，以换行符替代；

对于超链接a标签，取其上一级标签，若上一级标签所含所有超链接文本在普通文本中占比不超过50％，则保留超链接标签中的文本，只删除标签，否则将标签及其链接文字均删除；

对于图片img标签，删除标签中所有内容；

对于其它标签，删除标签本身；

完成节点的遍历后，使用正则表达式将取出的正文文本中所有非常规的符号删除，并对换行符进行去重，最终输出网页正文内容，存储于txt格式的文档中。

2.如权利要求1所述的基于块文字占比的网页正文信息提取方法，其特征在于，步骤1中，所述对其中的字符进行大小写统一处理，具体为：

对字符串进行遍历，将其中的大写英文字符统一转换为小写英文字符。

3.如权利要求1所述的基于块文字占比的网页正文信息提取方法，其特征在于，步骤2中，所述与主题信息无关的标签内容，具体包括：

定义客户端脚本的script标签、用于定义HTML文档样式信息的style标签、定义文档与外部资源关系的link标签和用于注释的！--标签。

4.如权利要求1所述的基于块文字占比的网页正文信息提取方法，其特征在于，步骤3中，所述根据标签配对从字符串中取出head和body部分，具体包括：

取标签“head”和“/head”之间的所有内容，作为网页的head部分；取标签“body”和“/body”之间的所有内容作为网页的body部分。

5.如权利要求1所述的基于块文字占比的网页正文信息提取方法，其特征在于，步骤4中，所述在head部分中查找并提取网页正文标题字符串，具体包括：

提取网页标题时，定义常用分隔符号集合R，首先提取title标签中的内容，使用常用分隔符号集合对这部分文本进行分割，分割后得到一个字符串数组S，取S中的第一个字符串作为当前网页文档的网页正文标题并存储。

6.如权利要求1所述的基于块文字占比的网页正文信息提取方法，其特征在于，步骤5中，所述网页分块的具体方式包括：

将网页文档中每个div标签和table标签内部的内容作为一个内容块，对各个内容块分别进行存储。