[发明专利]一种数据处理方法、装置、设备及介质

说明书

本申请提供了一种数据处理方法，包括：第一设备获取多个数据，然后第一设备基于多个数据获得目标拟合模型，接着第一设备向第二设备发送目标拟合模型，该目标拟合模型用于恢复多个数据中的至少一个数据。如此，可以减少传输的数据量以及第二设备存储的数据量，从而缓解数据传输压力和数据存储压力。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备以及计算机可读存储介质。

背景技术

随着信息时代的来临，海量数据也随之产生。为了充分利用上述海量数据，常常需要对数据进行传输以及存储。以物联网(the Internet of things，IoT)为例，越来越多的设备如电视、空调、音箱、路由器、摄像机等能够被独立寻址形成互联互通的网络，进而实现对设备的智能化识别、定位、跟踪、监控和管理。

为了实现智能化感知、识别、定位、跟踪、监控或管理，IoT设备产生大量的时序数据。所谓时序数据是指按照时间进行统计的指标数据。该时序数据可以是资源使用率、心电图、股价等等。在实际应用中，IoT设备每分钟产生的时序数据的数据量可以达到上亿条，如此导致数据传输和存储压力较大。

基于此，业界亟需提供一种数据处理方法，以缓解数据传输和存储压力。

发明内容

本申请提供了一种数据处理方法，该方法通过对数据进行模型拟合，实现数据压缩，解决了数据传输和存储压力较大的问题。本申请还提供了对应的装置、设备、计算机可读存储介质以及计算机程序产品。

第一方面，本申请提供了一种数据处理方法。具体地，作为数据发送方的第一设备，可以获取多个数据，然后基于多个数据获得目标拟合模型，接着向第二设备发送上述目标拟合模型，代替直接发送多个数据，第二设备可以根据需求通过上述目标拟合模型恢复多个数据中的至少一个。如此，可以减少传输的数据量以及第二设备存储的数据量，从而缓解数据传输压力和数据存储压力。

在一些可能的实现方式中，第一设备可以通过如下方式获得目标拟合模型。具体地，第一设备可以根据多个数据对多个拟合模型进行模型拟合，以从多个拟合模型选择一个拟合模型来作为目标拟合模型。

其中，多个拟合模型可以是第一设备和第二设备预先协商的模型，第一设备可以将多个数据作为训练数据对多个拟合模型进行训练，直至满足训练结束条件。训练结束条件可以是参数迭代次数达到最大次数，或者是基于损失函数确定的损失值小于预设值。在结束训练后，第一设备根据各拟合模型的损失值确定目标拟合模型。

在具体实现时，第一设备可以将损失值最小的拟合模型作为目标拟合模型，也可以将损失值小于预设值的拟合模型作为目标拟合模型，或者是将损失值趋于收敛的拟合模型作为目标拟合模型。

在一些可能的实现方式中，多个拟合模型具体可以是线性模型、多项式模型和神经网络模型中的至少两个。考虑到模型的适用范围，多个拟合模型可以包括线性模型、多项式模型和神经网络模型，如此，通过对较多的模型进行拟合，可以提高拟合精度，有利于提高数据传输准确度。

在一些可能的实现方式中，第一设备在向第二设备发送目标拟合模型时，可以向第二设备发送该第一设备选择的拟合模型的标识以及对应的模型参数。具体地，第一设备和第二设备在协商模型时，可以预先约定模型标识model ID，如线性模型的model ID可以为1，多项式模型的model ID可以为2，神经网络模型的model ID可以为3。模型一般可以通过函数进行表征，模型参数即为函数表达式的参数。

以线性模型为例，其函数表达式为y＝ax+b。其中，x为自变量，y为函数值，a和b即为该线性模型的参数。当目标拟合模型为线性模型时，第一设备可以发送拟合模型的标识“1”以及模型参数“a”、“b”至第二设备。

发送模型标识和参数可以进一步减少传输的数据量和存储的数据量，减少传输资源开销和存储资源开销，节省成本。