[发明专利]网页抽取准确性计算方法及系统

权利要求书

1.一种网页抽取准确性计算方法，包括以下步骤：

采用浏览器对网页进行解析；

获取浏览器对网页解析的结果；

采用待测网页抽取模块对网页进行解析；

获取待测网页抽取模块对网页解析的结果；

计算所述待测网页抽取模块解析的结果与浏览器解析的结果的相似度，解析结果包括：可见文本、链接和锚文本；

根据所述相似度确定所述待测网页抽取模块解析的准确性，相似度越大，则所述待测网页抽取模块进行网页抽取的准确性越高。

2.根据权利要求1所述的网页抽取准确性计算方法，其特征在于，所述待测网页抽取模块解析的结果包括解析网页得到的第一可见文本集合、第一链接集合和第一锚文本集合，所述浏览器解析的结果包括浏览器解析网页得到的第二可见文本集合、第二链接集合和第二锚文本集合；

所述计算待测网页抽取模块解析的结果与浏览器解析的结果的相似度的步骤为：

计算第一可见文本集合与第二可见文本集合的相似度；

计算第一链接集合与第二链接集合的相似度；

计算第一锚文本集合与第二锚文本集合的相似度；

对所述第一可见文本集合与第二可见文本集合的相似度、所述第一链接集合与所述第二链接集合的相似度、所述第一锚文本集合与第二锚文本集合的相似度按第一预设比例求和。

3.根据权利要求2所述的网页抽取准确性计算方法，其特征在于，所述计算第一可见文本集合与第二可见文本集合的相似度的步骤为：

对所述第一可见文本集合中的文本进行切词，统计每个词出现的次数，建立第一词频向量；

对所述第二可见文本集合中的文本进行切词，统计每个词出现的次数，建立第二词频向量；

计算所述第一词频向量与所述第二词频向量的相似度，即为所述第一可见文本集合与第二可见文本集合的相似度。

4.根据权利要求2所述的网页抽取准确性计算方法，其特征在于，所述计算第一链接集合与第二链接集合的相似度的步骤为：

按照如下公式计算所述第一链接集合与所述第二链接集合的相似度：所述第一链接集合和所述第二链接集合中相同的链接数的倍数与所述第一链接集合及第二链接集合中的链接总数的比值。

5.根据权利要求2所述的网页抽取准确性计算方法，其特征在于，所述计算第一锚文本集合与第二锚文本集合的相似度的步骤为：

提取所述第一锚文本集合与第二锚文本集合中具有相同链接的锚文本；

计算每个相同链接所对应的第一锚文本与第二锚文本的相似度，对该相似度求平均值；

将第一锚文本集合中的锚文本通过间隔符按顺序连接起来，生成第一文本串；

将第二锚文本集合中的锚文本通过间隔符按顺序连接起来，生成第二文本串；

计算所述第一文本串和第二文本串的相似度；

对所述第一文本串和第二文本串的相似度与所述平均值按第二预设比例求和。

6.一种网页抽取准确性计算系统，其特征在于，包括：

浏览器，用于对网页进行解析；

待测网页抽取模块，用于对网页进行解析；

解析结果对比模块，用于获取浏览器对网页的解析结果及所述待测网页抽取模块对网页的解析结果，计算所述待测网页抽取模块解析的结果与浏览器解析的结果的相似度，解析结果包括：可见文本、链接和锚文本，根据所述相似度确定所述待测网页抽取模块解析的准确性，相似度越大，所述待测网页抽取模块进行网页抽取的准确性越高。