[发明专利]新闻网页的正文抽取方法和系统

摘要

本发明涉及一种新闻网页的正文抽取方法和系统，该方法包括：根据新闻网页中的各个标签，将新闻网页生成一节点树；对节点树进行遍历，并生成由所有文本和所有链接按照遍历顺序组成的第一列表及由所有链接按照遍历顺序组成的第二列表；将第二列表中的各个链接在第一列表中进行一一映射，并生成表征映射结果的第三列表；根据第三列表，确定新闻网页中的最长连续文本序列；将最长连续文本序列作为新闻网页的正文进行抽取。本发明在抽取过程中无需人工配置的模板，因此适用于海量新闻网页的采集。而且，由于本发明提供的正文抽取方法是一种基于文本分布的正文抽取方法，相对于现有技术中单纯基于网页结构的抽取方法，准确率是更高的。

主权项

1.一种新闻网页的正文抽取方法，其特征在于，包括：根据所述新闻网页中的各个标签，将所述新闻网页生成一节点树；对所述节点树进行遍历，并生成由所有文本和所有链接按照遍历顺序组成的第一列表及由所有链接按照遍历顺序组成的第二列表；将所述第二列表中的各个链接在所述第一列表中进行一一映射，并生成表征映射结果的第三列表；根据所述第三列表，确定所述新闻网页中的最长连续文本序列；将所述最长连续文本序列作为所述新闻网页的正文进行抽取；所述将所述第二列表中的各个链接在所述第一列表中进行一一映射，包括：将所述第二列表中的各个链接按照所述遍历顺序在所述第一列表中进行映射，确定所述第二列表中每一个链接在所述第一列表中的映射地址；其中，所述第二列表中的第一个链接在进行映射时，在所述第一列表的表头开始查找，将在所述第一列表中查找到的第一个相同链接的位置作为所述第一个链接在所述第一列表中的映射地址；所述第二列表中除第一个链接之外的任一链接在进行映射时，从该任一链接的上一个链接在所述第一列表中的映射地址开始查找，将在所述第一列表中查找到的第一个相同链接的位置作为该任一链接在所述第一列表中的映射地址；所述第三列表为由第一数值和第二数值组成的序列，所述第一数值不同于所述第二数值，且所述第一数值和所述第二数值的个数之和与所述第一列表中各个文本和各个链接的个数之和相等；在所述第三列表中，与所述第二列表中各个链接在所述第一列表中的映射位置相对应的位置处为所述第一数值；在所述第三列表中，除第一数值所在位置之外的其他位置处均为所述第二数值。