[发明专利]数据处理方法、装置、设备及存储介质

说明书

本申请提出一种数据处理方法、装置、设备及存储介质，涉及通信技术领域，用于提高单一数据源多条数据流向的应用场景下的数据处理效率。该方法应用于业务系统中的数据网关设备，业务系统还包括数据源设备以及边缘节点设备，数据网关设备分别与数据源设备以及边缘节点设备连接，该数据处理方法包括：数据网关设备接收数据源设备发送的源数据。进一步的，数据网关设备确定对源数据进行预处理的工作节点的目标数量。进一步的，数据网关设备基于目标数量个工作节点对源数据进行处理，并向边缘节点设备发送处理后的源数据。

技术领域

本申请涉及通信技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术

在实际生产场景中，由信息化、智能化手段构建的系统，往往依托海量的数据支撑，传统的中心云统一对数据源进行数据处理，可以保证数据安全不被泄露，同时中心云的存储计算资源更加丰富，也便于统一管控。

然而，在某些特定行业，如工业控制领域，业务应用对于数据的实时性要求越来越高，往往从设备数据源产生数据，到展示到人机交互终端，其间时延要求往往都在毫秒级，甚至更低的微秒级，以保证设备数据监控或者控制的有效性。在这样的场景下，传统的中心云统一调度处理往往是大数据批处理，再算上处理完成后传送给相应终端的时延，难以保证数据的实时性。

发明内容

本申请提出一种数据处理方法、装置、设备及存储介质，用于提高单一数据源多条数据流向的应用场景下的数据处理效率。

为了达到上述目的，本申请采用如下技术方案：

第一方面，提供一种数据处理方法、装置、设备及存储介质，应用于业务系统中的数据网关设备，业务系统还包括数据源设备以及边缘节点设备，数据网关设备分别与数据源设备以及边缘节点设备连接，该数据处理方法包括：数据网关设备接收数据源设备发送的源数据。进一步的，数据网关设备确定对源数据进行预处理的工作节点的目标数量。进一步的，数据网关设备基于目标数量个工作节点对源数据进行处理，并向边缘节点设备发送处理后的源数据。

在本申请提供的数据处理方法中，数据网关设备在接收到数据源设备发送的源数据后，确定对源数据进行预处理的工作节点的目标数量，并创建目标数量个工作节点，对源数据进行处理，进而向对应的边缘节点设备发送处理后的源数据，以使得源数据无需等待便可立即处理，降低了数据处理的时延。并且由于边缘节点参与了后续的数据处理，从而实现了计算压力分摊，进一步降低了数据处理的时延。

一种可能的设计中，上述数据网关设备确定对源数据进行预处理的工作节点的目标数量，包括：数据网关设备在发送频率大于或等于预设频率的情况下，确定源数据对应的处理时长；发送频率为数据源设备发送源数据的频率，处理时长为数据网关设备在接收到源数据后，并将处理后的源数据发送至边缘节点设备所需的时长；并根据发送频率以及处理时长，确定目标数量。该设计中提供了一种数据网关设备确定对源数据进行预处理的工作节点的目标数量的实现方式。

一种可能的设计中，上述数据网关设备确定对源数据进行预处理的工作节点的目标数量，包括：数据网关设备在发送频率小于预设频率的情况下，确定源数据对应的预处理流程；并将预处理流程包括的步骤数量确定为目标数量。该设计中提供了一种数据网关设备确定对源数据进行预处理的工作节点的目标数量的实现方式。

一种可能的设计中，上述数据网关设备确定对源数据进行预处理的工作节点的目标数量，包括：数据网关设备在发送频率小于预设频率的情况下，确定边缘节点设备需求的数据类型；并将数据类型的数量确定为目标数量。该设计中提供了一种数据网关设备确定对源数据进行预处理的工作节点的目标数量的实现方式。

一种可能的设计中，上述数据网关设备确定对源数据进行预处理的工作节点的目标数量，包括：数据网关设备在发送频率小于预设频率，且源数据中每条数据存在对应的边缘节点设备的情况下，将源数据对应的边缘节点设备的数量确定为目标数量。该设计中提供了一种数据网关设备确定对源数据进行预处理的工作节点的目标数量的实现方式。