[发明专利]一种数据处理方法、系统、计算设备及存储介质

说明书

本发明公开了一种数据处理方法，适于在计算设备中执行，方法包括步骤：从每台设备的多个数据采集模块获取设备的多项运行数据，将多项运行数据合成为第一运行数据存储到消息队列模块；通过数据对齐模块获取每台设备的第一运行数据，按照第一运行数据中运行数据的采集时间进行转换操作，得到与数据的采集时间对应的第二运行数据，将每台设备的第二运行数据输出到消息队列模块；通过数据计算模块获取每台设备的第二运行数据，对第二运行数据根据采集时间进行数据分析判断每台设备是否正常运行。本发明还一并公开了一种数据处理系统，计算设备和计算机可读存储介质。

技术领域

本发明涉及数据处理领域，特别涉及一种数据处理方法、系统、计算设备及存储介质。

背景技术

随着行业生产数字化，智能化的进程越来越快，也对数字化监控，设备智能看护提出了更高的要求。目前对设备智能看护时，需要设备各种数据的支持。设备智能看护算法需要设备同时刻的全部采集数据，然而设备各类数据时通过各类系统采集，这些系统是相互独立的，对数据进行采集后形成各自的数据孤岛。

例如在现有技术中，不同系统数据各自独立采集并存储在数据库中，假设A 系统采集设备温度指标数据，B系统采集设备电气数据，A系统数据采集延迟优于B系统，估算评定A和B系统采集数据其中最大延迟为10分钟，数据采集对齐程序定时5分钟采集处理A和B系统中数据，通过时间条件先查询A系统数据库中距当前时间10分钟前到15分钟的数据并取出，再根据对齐规则条件到B系统中获取符合条件的数据做数据对齐整合成一个数据包，用于设备智能看护算法的数据输入。

上述方式由于是通过传统的扫数据库表的方式，而且是扫描不同数据库，当数据量大时，处理性能低且及时性差，通过评估系统采集数据延迟决定等待处理时长，而不能通过A系统数据到达立即触发处理。并且由于是单机处理，处理能力无法横向扩展，不能像分布式系统那样横向扩充资源提升处理能力。

为此，需要一种新的数据处理方法。

发明内容

为此，本发明提供一种数据处理方法，以力图解决或者至少缓解上面存在的问题。

根据本发明的一个方面，提供一种数据处理方法，适于在计算设备执行，计算设备与多台设备通信连接，设备部署有多个数据采集模块，每个数据采集模块采集所在设备的一项运行数据，计算设备包括消息队列模块，数据对齐模块和数据计算模块，方法包括步骤：从每台设备的多个数据采集模块获取设备的多项运行数据，将多项运行数据合成为第一运行数据存储到消息队列模块；通过数据对齐模块获取每台设备的第一运行数据，按照第一运行数据中运行数据的采集时间进行转换操作，得到与数据的采集时间对应的第二运行数据，将每台设备的第二运行数据输出到消息队列模块；通过数据计算模块获取每台设备的第二运行数据，对第二运行数据根据采集时间进行数据分析判断每台设备是否正常运行。

可选地，在根据本发明的方法中，运行数据包括设备标识，从每台设备的多个数据采集模块获取设备的多项运行数据，将多项运行数据合成为第一运行数据存储到消息队列模块包括步骤：在消息队列模块中创建第一主题模块，第一主题模块下包括多个分区，每个分区的分区号均与一台设备的设备标识相匹配；根据运行数据的设备标识匹配与运行数据对应的分区，顺序将运行数据写入到对应的分区，将该分区的多项运行数据作为该设备的第一运行数据。

可选地，在根据本发明的方法中，在分区中写入的运行数据包括该项运行数据在分区的写入时间，和对应于数据采集模块的数据类型，按照第一运行数据中运行数据的采集时间进行转换操作，得到与数据的采集时间对应的第二运行数据包括步骤：将分区中的运行数据生成关于写入时间的离散化流；设置离散化流的批次间隔，并将离散化流按照批次间隔分割成多个数据集，每个数据集中包括多个写入时间在当前批次间隔中的运行数据；创建离散化流的滑动窗口，滑动窗口包括多个批次间隔的数据集；对滑动窗口中的包括的数据集，根据运行数据的采集时间和数据类型进行转化操作得到第二运行数据。