[发明专利]一种测试爬虫数据质量的方法

说明书

本发明公开了一种测试爬虫数据质量的方法，包括步骤：表字段规则库配置，配置字段依赖关系，爬虫数据抽样，在被测数据源中随机抽取指定数量的数据样本，规则调用，判断是否有字段依赖关系，判断当前字段是否存在规则依赖，字段依赖校验，字段依赖校验模块根据字段A的值验证字段B的值，字段比对，字段比对模块验证对应的字段是否满足规则库中对应的规则，质量结果输出，质量结果输出模块错误样本供分析，该测试爬虫数据质量的方法高效，速度快，成本低。

技术领域

本发明涉及互联网科技行业技术领域，具体为一种测试爬虫数据质量的方法。

背景技术

网络爬虫是一个自动提取网页数据的程序，由于网页的多样性和不确定性，得到的爬虫数据的准确性也存在很大的不确定性，目前爬虫数据质量的测试方法比较少，大多数采用传统的人工标注的方式进行测试，显然这种方式的准确率是最高的，但是测试效率极低，成本也较高。

发明内容

本发明的目的在于提供一种测试爬虫数据质量的方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种测试爬虫数据质量的方法，包括：

步骤1，表字段规则库配置，从而构成表、字段、正则的匹配关系；

步骤2，配置字段依赖关系；

步骤3，爬虫数据抽样，在被测数据源中随机抽取指定数量的数据样本；

步骤4，规则调用，循环每一条样本数据，然后判断步骤1中表里的字段对应的值是否满足规则；

步骤5，判断是否有字段依赖关系，判断当前字段是否存在规则依赖，即步骤2中的依赖关系里是否包含该字段；

步骤6，字段依赖校验，字段依赖校验模块根据字段A的值验证字段B的值；

步骤7，字段比对，字段比对模块验证对应的字段是否满足规则库中对应的规则；

步骤8，质量结果输出，质量结果输出模块输出错误样本供分析。

优选的，所述步骤5中判断出存在字段依赖关系时，则调用字段依赖校验步骤6，否则调用字段比对模块步骤7。

优选的，所述步骤8中质量输出模块，以excel的形式输出各个字段的缺失率、空值率、准确率、错误率，且txt文件输出错误样本供分析。

优选的，所述表字段规则可以是根据字段本身的业务意义而配置的正则表达式。

优选的，所述步骤1中，可以以公司名称分类为爬取。

优选的，所述爬虫数据抽样前，以用户IP作为凭证，使用browser软件和远程网络服务器作为连接通道，形成一个数据库，与抽样数据进行对比，得出质量分析情况。

优选的，所述数据库中包括记录过去的爬虫数据和网络分类数据；过去的爬虫数据由browser软件以搜索记录、搜索结果和网站ID浏览记录数据组合而成，由硬盘存储。

优选的，述网络分类数据包括记录在案的网站信息和分类的领域信息，与抽样的爬虫信息对比，得出信息重合率。

与现有技术相比，本发明的有益效果是：通过爬虫数据抽样、表字段规则库配置、爬虫数据抽样、判断是否有字段依赖关系、字段依赖校验、字段比对和质量结果输出这些步骤，该测试爬虫数据质量的方法高效，速度快，成本低。

附图说明

图1为测试爬虫数据质量的方法流程框图。

具体实施方式