[发明专利]网页信息的提取方法和装置

说明书

本发明公开了一种网页信息的提取方法和装置。其中，该方法包括：获取用于记录网页内容的第一源码；基于预设条件，去除第一源码中的干扰信息，得到包括网页正文的第二源码；根据第二源码定位网页正文的起始位置和结束位置；从第二源码中提取起始位置和结束位置之间的、且包含图片的网页正文。本发明解决了提取出的网页正文包含干扰信息的技术问题。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种网页信息的提取方法和装置。

背景技术

现有技术中，提供了一种分析平台，该分析平台可以根据用户的需求向用户展示互联网信息，具体地，可以根据用户需求，通过网络爬虫从源站爬取网页内容，在网络爬虫爬取到html源码后，该直接采集到的html源码中除了包含正文内容之外，还包括：html标签、样式、js代码等信息，如果直接将爬取到的html源码呈现给用户，会表现的的极为不友好。例如，由于该html中包含的html标签、样式、js代码等信息会对用户的阅读带来很大的干扰；又如，用户在阅读过程中，有时不仅仅需要正文，还需要看到正文中的图片，图片不仅可以提升阅读感，并且图片中有时也会包含非常有价值的信息；再如，一些高级用户，比如算法工程师，需要用正文进行算法分析，如果正文中干扰信息过多，会影响算法分析的结果。

为了解决上述问题，现有技术中提供了一种解决方案，在该解决方案中，利用大部分网页，文章所在的区域文字都比较集中的特点，从html源码中提取出集中的这部分内容，得到正文内容。但是该方案仅能从html源码中提取集中的内容，该提取的内容中仍然包括噪音信息，其中，该噪音信息表示网页中非正文信息，例如，广告信息等。

针对上述提取出的网页正文包含干扰信息的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种网页信息的提取方法和装置，以至少解决提取出的网页正文包含干扰信息的技术问题。

根据本发明实施例的一个方面，提供了一种网页信息的提取方法，包括：获取用于记录网页内容的第一源码；基于预设条件，去除所述第一源码中的干扰信息，得到包括网页正文的第二源码；根据所述第二源码定位网页正文的起始位置和结束位置；从所述第二源码中提取所述起始位置和结束位置之间的、且包含图片的网页正文。

根据本发明实施例的另一方面，还提供了一种网页信息的提取装置，包括：获取单元，用于获取用于记录网页内容的第一源码；去除单元，用于基于预设条件，去除所述第一源码中的干扰信息，得到包括网页正文的第二源码；定位单元，用于根据所述第二源码定位网页正文的起始位置和结束位置；提取单元，用于从所述第二源码中提取所述起始位置和结束位置之间的、且包含图片的网页正文。

在本发明实施例中，在获取到用于记录网页内容的第一源码之后，基于预设条件，去除该第一源码中的干扰信息，得到第二源码，其中，该第二源码中包括网页正文源码；可以在得到第二源码后，根据第二源码定位网页正文的起始位置和结束位置，并从第二源码中提取起始位置和结束位置之间的、且包含图片的网页正文。通过上述实施例，可以将网页中的干扰信息去除，得到第二源码，并根据该第二源码定位网页正文的起始位置和结束位置，利用该起始位置和结束位置去除网页正文的头尾的干扰信息，并从该起始位置和结束位置之间提取不带干扰信息、且带图片的网页正文，解决了现有技术中提取出的网页正文包含干扰信息的问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种应用网页信息的提取方法的网络环境示意图；

图2是根据本发明实施例的一种可选的网页信息的提取方法的分布曲线的示意图；

图3是根据本发明实施例的一种可选的网页信息的提取方法的流程图一；