[发明专利]一种提取网页正文内容的方法及系统

摘要

本发明公开了一种提取网页正文内容的方法及系统，该方法包括：S1、加载待分析网页的HTML源码，同时加载预设对比网页的HTML源码；S2、按行比较待分析网页和预设对比网页的HTML源码的相同性；S3、根据相同性对比结果，判断待分析网页是否为列表导航网页类型，若是，则结束，反之，执行步骤S4；S4、对待分析网页的HTML源码进行正文内容抽取。本发明通过对HTML源码逐行比较相同性，从而确定网页的噪音信息行和正文信息行，最后抽取获得网页正文内容，实现方式简单、快速，而且可以取得较高的准确率和完整性，能有效地抽取网页正文信息，可广泛应用于网页正文内容抽取领域中。

主权项

1.一种提取网页正文内容的方法，其特征在于，包括：S1、加载待分析网页的HTML源码，同时加载预设对比网页的HTML源码；S2、按行比较待分析网页和预设对比网页的HTML源码的相同性；S3、根据相同性对比结果，判断待分析网页是否为列表导航网页类型，若是，则结束，反之，执行步骤S4；S4、对待分析网页的HTML源码进行正文内容抽取；所述步骤S2，包括S21～S23：S21、分别去除待分析网页和预设对比网页的HTML源码中与正文无关的信息；S22、依次对比待分析网页和预设对比网页的HTML源码的每一行，并标记每行的对比结果属性为相同或不同；S23、根据每行的对比结果属性，对待分析网页的HTML源码进行遍历，形成包含对比结果属性的数组；所述步骤S4，包括：S41、根据相同性对比结果，依序分别将待分析网页的HTML源码中的连续不同行生成文本信息块，获得文本信息块数组；S42、分别对每个文本信息块进行分析并抽取内容信息块；S43、依序合并内容信息块，并添加段落标记，形成正文内容。