[发明专利]一种数据处理方法、装置及系统

说明书

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据处理方法、装置及系统。

背景技术

数据处理技术广泛应用于各个行业，例如在农业种植行业，需要大量的采集设备，例如传感器等对种植现场进行数据采集，然后将采集到的数据通过网络传输到数据处理装置中，进行相关的数据处理工作，最后数据处理装置将处理结果发送到服务器，从而实现对种植现场的远程监测。由于种植现场的采集设备非常多，因此，数据处理装置的工作量非常大。

现有的数据处理装置的数据处理流程是：将采集到的数据直接进行处理，由于其处理模式是串行处理，因此当待处理数据非常多时，就会出现数据的积压，前面的数据如果没有处理完，则后面的数据就必须等待，因此数据处理的速度非常慢，无法及时向服务器提供处理结果，导致监测过程中实时性较差。

由此可见，如何克服现有技术中数据处理装置的数据处理方法的缺点，从而提高监测的实时性和处理速度是本领域技术人员亟待解决的问题。

发明内容

本发明的目的是提供一种数据处理方法、装置及系统，用于克服现有技术中数据处理装置的数据处理方法的缺点，从而提高监测的实时性和处理速度。

为解决上述技术问题，本发明提供一种数据处理方法，包括：

缓存队列将各采集设备采集到的采集数据缓存，并在缓存量超过预定数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元；

各数据处理单元接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。

优选地，所述各数据处理单元接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果具体包括：

实时接收释放的采集数据，并二次缓存；

判断是否到达各自的释放时间；

如果是，则将二次缓存的采集数据全部释放，并启动各自的数据处理线程进行数据处理以得到数据处理结果；

如果否，则继续判断是否到达各自的释放时间。

优选地，各所述数据处理单元中的数据处理线程为多个。

优选地，所述将已缓存的采集数据按照预定规则释放至各数据处理单元具体为：按照先进先出、进一出一的原则释放已缓存的采集数据，按照各所述数据处理单元当前的处理状态分配已缓存的采集数据。

优选地，所述按照各所述数据处理单元当前的处理状态分配已缓存的采集数据具体为：如果有空闲的数据处理单元，则将已缓存的采集数据分配给空闲的数据处理单元，否则，随机分配。

优选地，还包括：各所述数据处理单元将所述数据处理结果发送给监控服务器。

优选地，还包括：当所述数据处理结果出现异常时对应的数据处理单元输出报警提示信息，其中所述采集数据中包含有采集设备的身份信息，所述报警提示信息包含对应的采集设备的身份信息。

优选地，还包括：存储单元存储各所述数据处理单元的数据处理结果。

为解决上述技术问题，本发明提供一种数据处理装置，包括：

缓存队列，用于将各采集设备采集到的采集数据缓存，并在缓存量超过预定数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元；

多个数据处理单元，各数据处理单元用于接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。

优选地，各所述数据处理单元具体包括：

时间缓存流模块，用于实时接收释放的采集数据，并二次缓存；判断是否到达释放时间；如果是，则将二次缓存的采集数据全部释放；如果否，则继续判断是否到达释放时间；

流处理模块，用于启动自身的数据处理线程进行数据处理以得到数据处理结果。

为解决上述技术问题，本发明提供一种数据处理系统，包括各采集设备，监控服务器，还包括上述所述的数据处理装置。

本发明所提供的数据处理方法，包括缓存队列将各采集设备采集到的采集数据缓存，并在缓存量超过预定数量时，将已缓存的采集数据按照预定规则释放至各数据处理单元；各数据处理单元接收释放的采集数据，分别启动各自的数据处理线程进行数据处理以得到数据处理结果。由此可见，该方法能够对多个采集设备采集到的采集数据并行处理，充分发挥CPU的处理能力，减少采集数据的积压，提高了整体的数据处理的速度，从而监测的实时性较高。此外，本发明所提供的数据处理装置及系统，同样具有上述有益效果。

附图说明