[发明专利]网页页面信息的提取方法和装置

摘要

本发明公开了一种网页页面信息的提取方法和装置。其中，网页页面信息的提取方法包括获取多个待提取网页页面的超文本标记语言HTML代码；根据HTML代码对多个待提取网页页面进行聚类，得到多个归属类别；提取每个归属类别中的目标块元素，其中，目标块元素为同一归属类别中的不同待提取网页页面共有的块元素；提取目标块元素中的文本，得到目标块元素的文本集合；计算文本集合的指标值，其中，指标值用于表示文本集合中的文本的差异程度；提取指标值大于第一预设阈值的文本集合中的文本，得到网页页面信息。通过本发明，解决了现有技术中网页信息提取准确度低问题，进而达到了提高网页信息提取准确性的效果。

主权项

一种网页页面信息的提取方法，其特征在于，包括：获取多个待提取网页页面的超文本标记语言HTML代码；根据所述HTML代码对多个所述待提取网页页面进行聚类，得到多个归属类别；提取每个所述归属类别中的目标块元素，其中，所述目标块元素为同一所述归属类别中的不同所述待提取网页页面共有的块元素；提取所述目标块元素中的文本，得到所述目标块元素的文本集合；计算所述文本集合的指标值，其中，所述指标值用于表示所述文本集合中的文本的差异程度；以及提取所述指标值大于第一预设阈值的所述文本集合中的文本，得到所述网页页面信息，其中，通过以下方式确定第一待提取网页页面和第二待提取页面的归属类别，其中，所述第一待提取网页页面和所述第二待提取页面为多个所述待提取页面中的任意两个待提取网页页面：根据所述第一待提取网页页面的HTML代码建立第一树形结构，并根据所述第二待提取网页页面的HTML代码建立第二树形结构；提取所述第一树形结构中包含预设属性的块元素，得到第一块元素，以及提取所述第二树形结构中包含预设属性的块元素，得到第二块元素，其中，预设属性为class属性或者id属性；根据所述第一块元素和所述第二块元素，计算所述第一待提取网页页面和所述第二待提取网页页面的相似度平均值；比较所述相似度平均值和第二预设阈值的大小；以及在比较出所述相似度平均值大于所述第二预设阈值的情况下，确定所述第一待提取网页页面和所述第二待提取页面为相同归属类别，或在比较出所述相似度平均值小于或等于所述第二预设阈值的情况下，确定所述第一待提取网页页面和所述第二待提取页面分别为不同的归属类别，其中，按照公式V＝1/2(S1+S2)计算第一待提取网页页面和第二待提取网页页面的相似度平均值，其中，V为相似度平均值，S1为第一待提取网页页面和第二待提取网页页面的第一相似度，S2为第一待提取网页页面和第二待提取网页页面的第二相似度，按照公式计算第一相似度S1，其中，Kp为第一待提取网页页面和第二待提取网页页面中相同的块元素，p依次取1至m，m为相同块元素的个数，V1Kp为相同块元素Kp在第一待提取网页页面中的出现频次，K0k为第一待提取网页页面中的第一块元素，N1为第一待提取网页页面中第一块元素的个数，为第一块元素K0k在第一待提取网页页面中的出现频次；按照公式计算第二相似度S2，其中，V2Kp为相同块元素Kp在第二待提取网页页面中的出现频次，K1k为第二待提取网页页面中的第二块元素，N2为第二待提取网页页面中第二块元素的个数，为第二块元素K1k在第二待提取网页页面中的出现频次。