[发明专利]数据处理方法、装置和系统

说明书

本发明实施例提供了数据处理方法、装置和系统，通过分布式在线存储系统中的各个存储节点根据待导出日志数据的数据量，将待导出日志数据拆分为至少两个数据包，从而向至少两个采集节点分别进行发送，从而在日志生成速度较高时，能够及时导出分布式在线存储系统中各存储节点的日志数据；同时，采集节点分别从分布式在线存储系统的至少两个存储节点接收日志数据，并当分布式在线存储系统中待导出日志数据的最小时间戳大于所接收到的日志数据的时间戳时，将所接收到的日志数据写入到离线系统，从而在日志生成速度低于导出速度时，避免了采集节点资源的浪费，解决了现有技术中的导出系统的导出速度与分布式在线存储系统的对导出速度的需求不匹配的技术问题。

技术领域

本发明涉及信息技术，尤其涉及一种数据处理方法、装置和系统。

背景技术

在分布式在线数据存储系统中的每一个存储节点维护一组日志文件，在组内日志是按照时间戳所指示的生成时间进行排序的，每一个日志中包括有数据操作情况的记录。

由于在分布式在线数据存储系统中所存储的数据为在线数据，为了进行周期型离线计算，需要将这些在线数据按照时间戳单调递增的顺序导出到离线系统中。在现有技术中，日志导出系统中的一个采集节点将对应的一个存储节点中的日志，按照日志的生成顺序进行采集，并写入到离线系统。

但由于分布式在线数据存储系统中各存储节点的日志仅能够由日志导出系统中对应的一个采集节点进行采集，当存储节点日志生成速度高于导出速度时导致不能及时导出，而当存储节点日志生成速度低于导出速度时导致采集节点资源的浪费。因此，现有的日志导出方式不够灵活，容易导致导出系统的导出速度与分布式在线存储系统的对导出速度的需求不匹配。

发明内容

本发明提供一种数据处理方法、装置和系统，用于解决现有技术中的日志导出系统的导出速度与分布式在线存储系统的对导出速度的需求不匹配的技术问题。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供了一种数据处理方法，包括：

分布式在线存储系统中的存储节点根据待导出的目标日志数据的数据量，将所述目标日志数据拆分为至少两个数据包；

所述存储节点将所述至少两个数据包，分别发送至日志导出系统中的各采集节点；

接收到所述数据包的采集节点，根据所接收到的数据包中目标日志数据的时间戳，将所述目标日志数据写入临时表中对应的目标时间分区；

当所述分布式在线存储系统各存储节点的待导出日志数据最小时间戳大于所述目标时间分区的时间上限时，所述日志导出系统中的分区管理节点将所述目标时间分区内的日志数据转存至离线存储系统。

第二方面，提供了一种分布式在线存储系统，包括：多个存储节点；

所述存储节点，用于根据待导出的目标日志数据的数据量，将所述目标日志数据拆分为至少两个数据包；将所述至少两个数据包，分别发送至日志导出系统中的各采集节点。

第三方面，提供了一种日志导出系统，包括：分区管理节点和多个采集节点；

所述采集节点，用于接收分布式在线存储系统中各存储节点所发送的数据包，根据所接收到的数据包中目标日志数据的时间戳，将所述目标日志数据写入临时表中对应的目标时间分区；

所述分区管理节点，用于当所述分布式在线存储系统各存储节点的待导出日志数据最小时间戳大于所述目标时间分区的时间上限时，将所述目标时间分区内的日志数据转存至离线存储系统。

第四方面，提供了一种数据处理方法，包括：

根据待导出日志数据的数据量，将所述待导出日志数据拆分为至少两个部分；