[发明专利]数据处理方法、装置和系统

权利要求书

1.一种数据处理方法，其特征在于，包括：

分布式在线存储系统中的存储节点根据待导出的目标日志数据的数据量，将所述目标日志数据拆分为至少两个数据包；

所述存储节点将所述至少两个数据包，分别发送至日志导出系统中的各采集节点；

接收到所述数据包的采集节点，根据所接收到的数据包中目标日志数据的时间戳，将所述目标日志数据写入临时表中对应的目标时间分区；

当所述分布式在线存储系统各存储节点的待导出日志数据最小时间戳大于所述目标时间分区的时间上限时，所述日志导出系统中的分区管理节点将所述目标时间分区内的日志数据转存至离线存储系统。

2.根据权利要求1所述的数据处理方法，其特征在于，所述存储节点将所述至少两个数据包，分别发送至日志导出系统中的各采集节点，包括：

所述存储节点将所述至少两个数据包，分别发送至随机选择的采集节点。

3.根据权利要求1所述的数据处理方法，其特征在于，所述当所述分布式在线存储系统各存储节点的待导出日志数据最小时间戳大于所述目标时间分区的时间上限时，所述日志导出系统中的分区管理节点将所述目标时间分区内的日志数据转存至离线存储系统，包括：

所述日志导出系统中的各采集节点竞争获得计算权限；

竞争获得计算权限的采集节点监测所述分布式在线存储系统中每一个存储节点的待导出日志数据的最小时间戳；

所述竞争获得计算权限的采集节点根据各个存储节点中待导出日志数据的最小时间戳中的最小值，计算所述分布式在线存储系统中待导出的日志数据的最小时间戳；

所述竞争获得计算权限的采集节点将所述分布式在线存储系统各存储节点的待导出日志数据最小时间戳，发送至所述分区管理节点；

当所述分布式在线存储系统各存储节点的待导出日志数据最小时间戳大于所述目标时间分区的时间上限时，所述分区管理节点将所述目标时间分区内的日志数据转存至离线存储系统。

4.根据权利要求1-3任一项所述的数据处理方法，其特征在于，所述接收到所述数据包的采集节点，根据所接收到的数据包中目标日志数据的时间戳，将所述目标日志数据写入临时表中对应的目标时间分区之前，还包括：

接收到所述数据包的采集节点查询所接收到的数据包所携带的来源标记；

当根据所述来源标记确定出所述数据包内的目标日志数据的直接来源不为客户端时，对所接收到的数据包进行删除。

5.一种日志导出系统，其特征在于，包括：分区管理节点和多个采集节点；

所述采集节点，用于接收分布式在线存储系统中各存储节点所发送的数据包，根据所接收到的数据包中目标日志数据的时间戳，将所述目标日志数据写入临时表中对应的目标时间分区；

所述分区管理节点，用于当所述分布式在线存储系统各存储节点的待导出日志数据最小时间戳大于所述目标时间分区的时间上限时，将所述目标时间分区内的日志数据转存至离线存储系统。

6.根据权利要求5所述的日志导出系统，其特征在于，

所述采集节点，还用于竞争获得计算权限；当竞争获得计算权限时，监测所述分布式在线存储系统中每一个存储节点的待导出日志数据的最小时间戳；根据各个存储节点中待导出日志数据的最小时间戳中的最小值，计算所述分布式在线存储系统中待导出的日志数据的最小时间戳；将所述分布式在线存储系统各存储节点的待导出日志数据最小时间戳，发送至所述分区管理节点。

7.根据权利要求5或6所述的日志导出系统，其特征在于，

所述采集节点，还用于查询所接收到的数据包所携带的来源标记；当根据所述来源标记确定出所述数据包内的目标日志数据的直接来源不为客户端时，对所接收到的数据包进行删除。

8.一种数据处理方法，其特征在于，包括：

从分布式在线存储系统的至少两个节点分别接收日志数据；

当所述分布式在线存储系统中待导出日志数据的最小时间戳大于所接收到的日志数据的时间戳时，将所接收到的日志数据写入到离线系统。