[发明专利]网页信息的提取方法和装置

权利要求书

1.一种网页信息的提取方法，其特征在于，包括：

获取用于记录网页内容的第一源码；

基于预设条件，去除所述第一源码中的干扰信息，得到包括网页正文的第二源码；

将所述第二源码中的图片内容和图片标签替换为预定字符以得到第三源码，去除所述第三源码中的超文本标记语言标签，在执行去除操作的过程中在所述超文本标记语言标签的尾部追加换行符以得到预处理内容，定位所述预处理内容中网页正文的起始位置和结束位置；

提取所述起始位置和结束位置之间的、且包含图片的网页正文。

2.根据权利要求1所述的方法，其特征在于，利用预定符号集合，定位所述预处理内容中网页正文的起始位置和结束位置。

3.根据权利要求1所述的方法，其特征在于，提取所述起始位置和结束位置之间的、且包含图片的网页正文包括：

从所述预处理内容中提取所述起始位置和结束位置之间的内容；

获取预先得到的数组，其中，所述数组中记录有从所述第二源码中提取的图片信息；

将提取到的内容中的预定字符替换为对应的图片信息，得到所述网页正文。

4.根据权利要求1所述的方法，其特征在于，在得到第二源码之后，所述方法还包括：

从所述第二源码中提取图片信息；

将提取出的图片信息依序存储在数组中。

5.根据权利要求2所述的方法，其特征在于，在所述预处理内容按行记录信息的情况下，

利用预定符号集合，定位所述预处理内容中网页正文的起始位置包括：从所述预处理内容的第一行开始，逐行扫描所述预处理内容；若当前扫描的行中包含所述预定符号集合中的符号，则将所述当前扫描的行定位为所述预处理内容中网页正文的起始位置；

利用预定符号集合，定位所述预处理内容中网页正文的结束位置包括：从所述预处理内容的最后一行开始，逐行扫描所述预处理内容；若当前扫描的行中包含所述预定符号集合中的符号，则将所述当前扫描的行定位为所述预处理内容中网页正文的结束位置。

6.根据权利要求1所述的方法，其特征在于，基于预设条件，去除所述第一源码中的干扰信息，得到包括网页正文的第二源码包括：

根据所述第一源码构建文档对象模型；

基于所述预设条件，确定所述文档对象模型中的正文节点；

从所述第一源码中提取所述正文节点的源码，得到所述第二源码。

7.根据权利要求6所述的方法，其特征在于，基于所述预设条件，确定所述文档对象模型中的正文节点包括：

遍历所述文档对象模型中的节点；

将所述文档对象模型中符合所述预设条件的节点确定为所述正文节点。

8.根据权利要求6或7所述的方法，其特征在于，所述预设条件包括：节点所包含的正文内容的比例达到预定比例、所述节点不包含子节点或者所述节点包含的子节点所包含的正文内容的比例未达到所述预定比例。

9.一种网页信息的提取装置，其特征在于，包括：

获取单元，用于获取用于记录网页内容的第一源码；

去除单元，用于基于预设条件，去除所述第一源码中的干扰信息，得到包括网页正文的第二源码；

定位单元，用于将所述第二源码中的图片内容和图片标签替换为预定字符以得到第三源码，去除所述第三源码中的超文本标记语言标签，在执行去除操作的过程中在所述超文本标记语言标签的尾部追加换行符以得到预处理内容，定位所述预处理内容中网页正文的起始位置和结束位置；

提取单元，用于提取所述起始位置和结束位置之间的、且包含图片的网页正文。