[发明专利]基于容器的数据处理方法、装置、系统以及存储介质

说明书

本申请提供一种基于容器的数据处理方法、装置、系统以及存储介质。该方法包括：边缘设备获取包括至少一种待处理数据的待处理数据集合。边缘设备根据预设数据格式，逐一对集合中的待处理数据进行封装，得到格式化数据集合。边缘设备逐一对格式化数据集合中的格式化数据进行清洗，过滤格式化数据中的干扰数据，提高数据质量，得到目标数据集合。进而，边缘设备将该目标数据集合发送到云端，并交由云端进行保存以及数据分析。本申请的方法，减少了云端的计算压力，充分利用边缘设备和云端的资源，增加了边缘设备和云端的协同，提高了数据处理效率。

技术领域

本申请涉及智能制造技术，尤其涉及一种基于容器的数据处理方法、装置、系统以及存储介质。

背景技术

智能制造是制造自动化的发展方向。智能制造主要是使用人工智能的技术，将机器学习、模糊控制技术等先进的计算机智能方法，应用于实现制造过程智能化。这些技术中最为基础的是对大数据的应用。但是在工业领域，由于各个应用环境的异构以及大量干扰的存在，使得获取的大部分都是低质量数据，难以直接在机器学习、模糊控制技术等方法中应用。

在现有技术中，通过云计算的方法，将所有数据收集到云端统一进行处理，是一种常用数据处理的方法。随着数据量的增多，海量的异构低质量数据集中于云端。由云端统一进行异构数据的解析、低质量数据的清洗、有效数据整理以及数据分析处理等处理。

然而，面对海量的异构低质量数据，以及复杂的数据处理流程，云端的数据处理能力有限，无法满足海量数据的处理需求，存在处理效率低的问题。

发明内容

本申请提供一种基于容器的数据处理方法、装置、系统以及存储介质，用以解决现有技术中，因数据量大、数据质量低、以及数据处理流程复杂，导致的处理效率低的问题。

第一方面，本发明提供一种基于容器的数据处理方法，包括：

获取待处理数据集合，所述待处理数据集合包括至少一种待处理数据，其中，所述待处理数据为数据源的运行数据；

根据预设数据格式对所述待处理数据进行封装，得到封装后的格式化数据集合；

对所述格式化数据集合进行清洗，以过滤所述格式化数据中的干扰数据，得到目标数据集合。

可选地，所述对所述格式化数据集合进行清洗，以过滤所述格式化数据中的干扰数据，得到目标数据集合之后，所述方法还包括：

将所述目标数据集合发送到云端。

可选地，所述方法还包括：

更新数据清洗方法，其中，所述数据清洗方法为存储在云端的数据清洗方法。

可选地，所述待处理数据包括以下一种或者多种数据参数：温度、电压、湿度、执行情况以及执行指令。

第二方面，本申请提供一种基于容器的数据处理装置，包括：

获取模块，用于获取待处理数据集合，所述待处理数据集合包括至少一种待处理数据，其中，所述待处理数据为数据源的运行数据；

封装模块，用于根据预设数据格式对所述待处理数据进行封装，得到封装后的格式化数据；

清洗模块，用于对所述格式化数据进行清洗，以过滤所述格式化数据中的干扰数据，得到目标数据集合。

可选地，所述装置还包括：

存储模块，用于将所述目标数据集合发送到云端。

可选地，所述装置还包括：

更新模块，用于更新数据清洗方法，其中，所述数据清洗方法为存储在云端的数据清洗方法。