[发明专利]一种数据测试方法及装置

说明书

本申请提供了一种数据测试方法及装置，针对目标数据处理流程得到的目标测试数据集，确定目标数据集中全量目标类型数据在预设类型下的第一统计值；从所述目标测试数据集中，抽取预设数量的目标类型数据；确定所述抽取的目标类型数据在所述预设类型下的第二统计值；根据所述第一统计值和所述第二统计值，确定所述目标数据处理流程的数据处理结果是否正确。与现有技术相比，本申请能够使测试结果更加准确，并且不依赖于业务人员的专业知识，可以应用于多种数据的测试，通用性强。

技术领域

本申请涉及计算机技术领域，尤其是涉及一种数据测试方法及装置。

背景技术

随着科技的不断发展，大数据处理成为了时下的热门技术。大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。通常，大数据需要进行处理才能反映出一些具有可用性的信息，大数据的处理过程通常包括数据抽取、数据转换、数据装载三个流程。而在大数据的使用当中，大数据处理的正确性尤为重要。

目前，现有的大数据测试方法通常是先计算出处理结果的各种数据指标，再由专业人员依据业务经验观察数据指标是否符合预期。然而，业务人员只能在数据指标发生较为明显的偏差时才能发现问题，而且，这个过程严重依赖于业务人员对业务的熟悉程度，难以成为一个通用的测试技术。

发明内容

有鉴于此，本申请的目的在于提供一种数据测试方法及装置，能够使测试结果更加准确，并且不依赖于业务人员的专业知识，可以应用于多种数据的测试，通用性强。

本申请实施例提供了一种数据测试方法，所述方法包括：

针对目标数据处理流程得到的目标测试数据集，确定目标数据集中全量目标类型数据在预设类型下的第一统计值；

从所述目标测试数据集中，抽取预设数量的目标类型数据；

确定所述抽取的目标类型数据在所述预设类型下的第二统计值；

根据所述第一统计值和所述第二统计值，确定所述目标数据处理流程的数据处理结果是否正确。

在一种可能的实施方式中，所述根据所述第一统计值和所述第二统计值，确定所述目标数据处理流程的数据处理结果是否正确，包括：

对比所述第一统计值与所述第二统计值；

若所述第一统计值与所述第二统计值之间满足所述预设类型对应的目标关系，则确定所述目标数据处理流程的数据处理结果正确；

若所述第一统计值与所述第二统计值之间不满足所述预设类型对应的目标关系，则确定所述目标数据处理流程的数据处理结果不正确。

在一种可能的实施方式中，所述预设类型包括以下至少一种：

均值、方差、最大值、1/4分位数、中位数、3/4分位数、最小值、众数、峰度、偏度。

在一种可能的实施方式中，所述从所述目标测试数据集中，抽取预设数量的目标类型数据，包括：

利用蓄水池采样算法，从所述目标测试数据集中，抽取预设数量的目标类型数据。

在一种可能的实施方式中，在确定所述目标数据处理流程的数据处理结果不正确之后，所述方法还包括：

确定所述目标数据处理流程中出现错误的位置，和/或，确定所述目标处理流程对应的原始数据中的异常数据。

本申请实施例还提供了一种数据测试装置，所述装置包括：

第一确定模块，用于针对目标数据处理流程得到的目标测试数据集，确定目标数据集中全量目标类型数据在预设类型下的第一统计值；