[发明专利]新闻网页的正文抽取方法和系统

权利要求书

1.一种新闻网页的正文抽取方法，其特征在于，包括：

根据所述新闻网页中的各个标签，将所述新闻网页生成一节点树；

对所述节点树进行遍历，并生成由所有文本和所有链接按照遍历顺序组成的第一列表及由所有链接按照遍历顺序组成的第二列表；

将所述第二列表中的各个链接在所述第一列表中进行一一映射，并生成表征映射结果的第三列表；

根据所述第三列表，确定所述新闻网页中的最长连续文本序列；

将所述最长连续文本序列作为所述新闻网页的正文进行抽取；

所述将所述第二列表中的各个链接在所述第一列表中进行一一映射，包括：

将所述第二列表中的各个链接按照所述遍历顺序在所述第一列表中进行映射，确定所述第二列表中每一个链接在所述第一列表中的映射地址；

其中，所述第二列表中的第一个链接在进行映射时，在所述第一列表的表头开始查找，将在所述第一列表中查找到的第一个相同链接的位置作为所述第一个链接在所述第一列表中的映射地址；

所述第二列表中除第一个链接之外的任一链接在进行映射时，从该任一链接的上一个链接在所述第一列表中的映射地址开始查找，将在所述第一列表中查找到的第一个相同链接的位置作为该任一链接在所述第一列表中的映射地址；

所述第三列表为由第一数值和第二数值组成的序列，所述第一数值不同于所述第二数值，且所述第一数值和所述第二数值的个数之和与所述第一列表中各个文本和各个链接的个数之和相等；

在所述第三列表中，与所述第二列表中各个链接在所述第一列表中的映射位置相对应的位置处为所述第一数值；在所述第三列表中，除第一数值所在位置之外的其他位置处均为所述第二数值。

2.根据权利要求1所述的方法，其特征在于，在将所述新闻网页生成一节点树之前，还包括：

对所述新闻网页进行预处理，得到统一编码的网页。

3.根据权利要求2所述的方法，其特征在于，所述对所述新闻网页进行预处理，得到统一编码的新闻网页，包括：

判断所述新闻网页中是否存在网页属性标签，

若是，则根据所述网页属性标签，获取所述新闻网页的万国码，并根据所述万国码，将所述新闻网页转化为万国码编码的网页；

否则，对所述新闻网页进行万国码编码，得到万国码编码的网页。

4.根据权利要求1所述的方法，其特征在于，在对所述节点树进行遍历之前，还包括：

删除所述节点树中的网页风格标签对应的节点、脚本标签对应的节点及不可见标签对应的节点。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第三列表，确定所述新闻网页中的最长连续文本序列，包括：

步骤a、在所述第三列表中预设的开始查找位置至结束查找位置之间查找满足预设条件的候选子序列，所述预设条件包括：所述候选子序列中第二数值的纯度大于预设的最低纯度，且所述候选子序列的长度大于第一预设长度；

步骤b、查找结束后，判断查找到的候选子序列的个数是否大于0；

若是，则执行步骤c；

否则，降低所述最低纯度和最低占比，并循环执行所述步骤a和所述步骤b，直至所述步骤b中判定查找到的候选子序列的个数大于0，执行步骤c；

所述步骤c包括：根据所查找到的候选子序列中长度最长的候选子序列在所述第三列表中的位置，在所述新闻网页中查找所述最长连续文本序列；

其中，所述候选子序列中第二数值的纯度为所述候选子序列中第二数值的个数占所述候选子序列中第一数值和第二数值的个数之和的比例，所述第一预设长度为正文在所述新闻网页中的最低占比与所述第一列表的长度之积。

6.根据权利要求5所述的方法，其特征在于，所述开始查找位置为所述第一列表的长度*0.5；和/或，所述结束查找位置为所述第一列表的长度*0.95。