[发明专利]一种数据处理的方法和装置

说明书

本发明实施例提供了一种数据处理的方法和装置，所述方法包括：确定待处理的数据指标；获取所述数据指标的历史数据；依据所述历史数据，确定所述数据指标的预测值；当采集到所述数据指标的实际值时，计算所述实际值与所述预测值之间的差值；若所述差值未超过预设阈值，则判定所述实际值为有效数据。本实施例通过某一数据指标的历史数据预测该指标未来的数据，从而在实际采集得到该数据的实际值后，通过判断实际值是否符合历史数据的发展趋势来确定该实际值是否有效，从而在数据处理的过程中增加了数据校验的环节，使得数据使用方不会获取到错误的数据，保证了后续的数据分析结果的准确性。

技术领域

本发明涉及计算机技术领域，特别是涉及一种数据处理的方法和一种数据处理的装置。

背景技术

在计算机科学中，数据是指所有能输入到计算机并被计算机程序处理的符号的介质的总称，是用于输入电子计算机进行处理，具有一定意义的数字、字母、符号和模拟量等的通称。现在计算机存储和处理的对象十分广泛，表示这些对象的数据也随之变得越来越复杂。

以视频行业为例。视频网站在提供视频的播放等功能时，也在不断地收集用户在搜索、观看视频时产生的各类数据，并通过对上述数据进行处理后，形成诸如点击量、搜索量、曝光量等数据，供分析人员进行分析，从而为后续的公司运营决策提供相应的依据。

但是，在生产过程中，可能因为数据采集方式的不同或传输过程中的故障，使得最终产生的数据出现不同程度的错误。如果错误的数据被分析人员直接获取并使用，就会导致数据分析结果的不准确。更严重地，还会对公司的运营决策造成误导。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据处理的方法和相应的一种数据处理的装置。

为了解决上述问题，本发明实施例公开了一种数据处理的方法，包括：

确定待处理的数据指标；

获取所述数据指标的历史数据；

依据所述历史数据，确定所述数据指标的预测值；

当采集到所述数据指标的实际值时，计算所述实际值与所述预测值之间的差值；

若所述差值未超过预设阈值，则判定所述实际值为有效数据。

可选地，所述获取所述数据指标的历史数据的步骤包括：

确定历史数据的采集周期；

获取所述数据指标在所述采集周期内的历史数据。

可选地，所述依据所述历史数据，确定所述数据指标的预测值的步骤包括：

根据所述历史数据，生成针对所述数据指标的预测模型；

采用所述预测模型，计算所述数据指标的预测值。

可选地，所述根据所述历史数据，生成针对所述数据指标的预测模型的步骤包括：

设置默认回归参数值；

通过改变所述默认回归参数值，对预置的自回归模型进行训练，使得对所述历史数据的预测误差小于第二预设阈值，以生成预测模型。

可选地，还包括：

若所述差值超过所述预设阈值，则对数据计算脚本进行纠错处理；

采用纠错后的数据计算脚本重新计算所述数据指标的实际值。

为了解决上述问题，本发明实施例公开了一种数据处理的装置，包括：

数据指标确定模块，用于确定待处理的数据指标；

历史数据获取模块，用于获取所述数据指标的历史数据；