[发明专利]一种网页页面正文内容抽取方法及装置

摘要

本发明提供一种网页页面正文内容抽取方法及装置，通过将原始网页内容进行清洗和行块划分，再计算相邻行块之间的引力因子和关联因子，得到正文因子，最后将正文因子大于阈值的相邻行块的内容进行拼接，生成网页正文；整个过程采用通用的方式进行网页正文内容的抽取工作，无需考虑页面的异构特征，使装置的可靠性和通用性大大增强，便于大规模推广实施；并且无需对页面进行学习认知、制定特定的解析规则和模板，可以大大降低人工成本；另外，无需复杂的参数设定和适配过程，避免了过多的指导参数，人工干预小，自动化程度高。

主权项

1.一种网页页面正文内容抽取方法，其特征在于，包括：读取原始网页内容；以行为粒度，统计各行出现的超级链接数目，并记录各行超级链接字符长度；根据所述行超级链接字符长度，将网页源码中的HTML标签、JS代码部分进行清洗去除，得到纯文本文件；将所述纯文本文件按照预设行数进行行块划分；根据所述纯文本文件的各个行块，计算得到相邻行块之间的引力因子；根据所述纯文本文件的各个行块进行处理，得到相邻行块之间的关联因子；根据所述引力因子和所述关联因子，计算得到全部相邻行块的正文因子；将正文因子大于阈值的相邻行块，标记为正文行块；按照行块顺序将标记为所述正文行块的相邻模块内容进行拼接，生成网页正文；所述根据所述纯文本文件的各个行块，计算得到相邻行块之间的引力因子，包括：根据所述纯文本文件的各个行块，计算得到各个行块的字符数、超链接字符数及相邻行块之间的距离；根据各个行块的字符数、超链接字符数及相邻行块之间的距离，计算得到相邻行块之间的引力因子，所述计算得到相邻行块之间的引力因子，所采用的公式为：其中，α为引力调整因子，S_m为第m个行块有效字符数，S_m为第m个行块字符数减去第m个行块链接字符数的差值，S_n为第n个行块有效字符数，S_n为第n个行块字符数减去第n个行块链接字符数的差值，R为相邻的第m个行块与第n个行块之间的距离，F_mn为相邻的第m个行块与第n个行块之间的引力因子。