[发明专利]数据清洗方法及装置

说明书

本发明提供一种数据清洗方法及装置，方法包括：终端设备获取检测设备在第一采集周期内的检测数据，并根据检测数据的阈值范围，对检测数据进行数据清洗，数据清洗用于丢弃检测数据中的无效值，检测数据的阈值范围由服务器指示，若数据清洗后存在可用数据，终端设备则在第一上报周期将可用数据上报给服务器。在第一更新周期，服务器根据终端设备在第一上报周期上报的可用数据，生成检测数据的第一范围，并将检测数据的第一范围发送给终端设备。通过上述方式，终端设备可以根据服务器的指示实时更新检测数据的范围，提高了数据清洗效果。

技术领域

本发明涉及信息技术领域，尤其涉及一种数据清洗方法及装置。

背景技术

在进行数据采集时，传感器通常用于采集数据并发送给边缘网关、边缘控制器等边缘端，随后由边缘端将采集到的数据发送给服务器供用户下载使用。由于传感器周围环境的影响，其采集到的数据通常包含有大量无效数据。因此，在使用传感器采集到的数据前，还需要进行数据清洗。

在现有技术中，通常采用边缘端处理进行数据清洗。具体的，可以将数据的清洗算法预先烧录到边缘端，由边缘端通过清洗算法对传感器采集到的数据进行数据清洗。

然而，由于边缘端资源有限，往往无法独自提供更新清洗算法所需要的算力。因此，现有技术中，数据的清洗算法对应的数据的阈值范围往往是固定的，无法根据实际情况动态调整，导致现有的由边缘端进行数据清洗的方法的清洗效果往往较差。

发明内容

本发明提供一种数据清洗方法及装置，以解决现有技术中数据清洗的效果差的技术问题。

本发明的第一个方面提供一种数据清洗方法，应用于终端设备，所述方法包括：

获取检测设备在第一采集周期内的检测数据；

根据所述检测数据的阈值范围，对所述检测数据进行数据清洗，所述数据清洗用于丢弃所述检测数据中的无效值，所述检测数据的阈值范围由服务器指示；

若数据清洗后存在可用数据，则在第一上报周期将所述可用数据上报给服务器。

在一种可选的实施方式中，在所述对所述检测数据进行数据清洗之后，还包括：

若数据清洗后不存在可用数据，则对历史可用数据进行直线插补，预测所述第一采集周期的可用数据；

在所述第一上报周期将预测的可用数据上报给服务器。

在一种可选的实施方式中，在所述在第一上报周期将所述可用数据上报给服务器之后，还包括：

接收所述服务器发送的所述检测数据的第一范围，所述第一范围是根据所述第一采集周期的可用数据确定的；

根据所述第一范围，更新所述检测数据的阈值范围。

本发明的第二个方面提供一种数据清洗方法，应用于服务器，所述方法包括：

接收终端设备在第一上报周期上报的可用数据，所述可用数据是所述终端设备根据检测数据的阈值范围，对检测设备在第一采集周期内的检测数据进行数据清洗后得到的，所述数据清洗用于丢弃所述检测数据中的无效值，所述检测数据的阈值范围由服务器指示；

在第一更新周期，根据所述终端设备在所述第一上报周期上报的可用数据，生成所述检测数据的第一范围；

将所述检测数据的第一范围发送给所述终端设备。

在一种可选的实施方式中，在所述将所述检测数据的阈值范围的第一更新值发送给所述终端设备之前，还包括：

接收所述终端设备在第二上报周期上报的可用数据，所述第二上报周期晚于所述第一上报周期；

所述将所述检测数据的第一范围发送给所述终端设备，包括：