[发明专利]数据实时处理方法、装置、计算机设备及存储介质

说明书

本发明涉及数据传输领域，公开了一种数据实时处理方法、装置、计算机设备及存储介质，该方法包括：当消息队列持续收到来自设备的心跳信息预设时间后，确定所述设备上线，建立所述设备和云平台的连接；所述云平台和所述设备连接后，通过所述消息队列接收来自所述设备的传输数据，将所述传输数据与数据库关联，形成关联数据；对所述关联数据进行实时分类和清洗，并根据所述关联数据的类别，分别传输至对应的数据库中。使得数据在存入数据库前，就完成了清洗和分类，将数据以干净可靠的姿态存入对应的数据库中，提高了后续数据处理以及数据反馈的准确率和速度。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据实时处理方法、装置、计算机设备及存储介质。

背景技术

当前生产环境中，从生产设备、产线机器人即各地数据采集设备向云端传输数据时，因为各种环境因素，可能会产生数据重复、不准确、不安全或难整合等情况，这些数据入库后，会导致数据库数据冗杂，不利于后续对各个设备的追踪和问题的解决。同时也降低了后续数据处理的效率，进而会降低生产设备、产线机器人等机械设备的精度、适应能力和响应速度等，进而降低了工作效率。

发明内容

第一方面，本申请提供了一种数据实时处理方法，应用于云平台，包括：

当消息队列接收到来自设备的心跳信息持续预设时间后，确定所述设备上线，向所述设备发送连接消息，与所述设备建立连接；

通过所述消息队列接收来自设备的传输数据，将所述传输数据通过所述设备的设备ID与所述云平台中的数据库关联，形成关联数据；

对所述关联数据进行实时分类和清洗，并根据所述关联数据的类别，分别传输至对应的数据库中。

进一步的，所述将所述传输数据通过所述设备的设备ID与所述云平台中的数据库关联，形成关联数据，包括：

将所述传输数据依照所述数据库中关键字进行分类，并按照分类结果将所述传输数据和各自的关键字关联形成所述关联数据，并通过实时数据处理模块存储所述关联数据。

进一步的，所述对所述关联数据进行分类，包括：

从所述关联数据中获取所述数据的数据类型字段中，判断所述关联数据的种类；

所述种类包括：作业数据、实时数据、离线数据和文件数据。

进一步的，所述对所述关联数据进行清洗，包括：

检测所述关联数据中是否存在重复数据、损坏数据或错误数据，若有，则清除所述重复数据、所述损坏数据或所述错误数据。

进一步的，所述数据库包括kafka、hdfs、redis、mysql和mongo中的一种或多种的组合。

进一步的，所述根据所述关联数据的类别，分别传输至对应的数据库，包括：

确定不同的类别与所述数据库的对应关系，将所述关联数据按照所述对应关系，分配至对应的数据库侧输出流中，所述关联数据从对应的所述数据库侧输出流传输至对应的所述数据库。

进一步的，当所述关联数据传输至对应数据库中后，还包括：

对所述关联数据提取至后端进行分析，然后传输至前端展示组件进行数据更新展示。

第二方面，本申请还提供一种数据实时处理装置，其特征在于，包括：

连接模块，用于当消息队列持续收到来自设备的心跳信息预设时间后，确定所述设备上线，建立所述设备和云平台的连接；

关联模块，用于所述云平台和所述设备连接后，通过所述消息队列接收来自所述设备的传输数据，将所述传输数据与数据库关联，形成关联数据；

处理模块，用于对所述关联数据进行实时分类和清洗，并根据所述关联数据的类别，分别传输至对应的数据库中。