[发明专利]机器数据存储方法及系统

权利要求书

1.一种机器数据存储方法，其特征在于，包括:

根据预设的时间划分长度或根据机器数据采集设备将实时采集的机器数据划分为若干个数据记录集，所述若干个数据记录集按批次进行数据存储，每一批次包括至少一个数据记录集；

在当前批次对应的数据写前日志中创建第一预设标记；

采用并行方式对当前批次的各个数据记录集进行数据预处理，并根据并行数据预处理结果更新所述第一预设标记的状态标识；

若所述第一预设标记的状态标识为数据预处理成功标识，则在当前批次对应的数据写前日志中为每一数据记录集创建第二预设标记；

采用并行方式将当前批次中的每一数据记录集加载到对应的分布式存储设备，并根据各个数据记录集的数据加载结果更新对应的第二预设标记的状态标识；根据所述当前批次对应的数据写前日志对当前批次的数据存储操作进行ACID校验。

2.根据权利要求1所述的方法，其特征在于，在所述在当前批次对应的数据写前日志中创建第一预设标记之后，所述方法还包括：

清空上一批次的数据记录集在执行存储操作之后对应的临时缓存文件；

为所述当前批次的数据记录集创建对应的临时目录；

所述采用并行方式对当前批次的各个数据记录集进行数据预处理，包括：

采用并行方式对所述临时目录中的各个数据记录集进行数据预处理。

3.根据权利要求2所述的方法，其特征在于，所述根据所述当前批次对应的数据写前日志对当前批次的数据存储操作进行ACID校验，包括：

获取所述当前批次对应的数据写前日志中的第一预设标记；

若所述第一预设标记的状态标识为数据预处理成功标识，则获取所述当前批次对应的数据写前日志中各个数据记录集对应的第二预设标记；

若当前批次中存在异常数据记录集，则将该异常数据记录集对应的分布式存储设备回滚到初始有效状态，并重新将该异常数据记录集加载到对应的分布式存储设备，所述异常数据记录集为对应的第二预设标记的状态标识为非提交数据标识的数据记录集。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述异常数据记录集无法加载到对应的分布式存储设备，则将所述异常数据记录集导入预设的异常数据存储区域，并在当前批次对应的数据写前日志中进行记录。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若当前批次中不存在异常数据记录集，或所述异常数据记录集成功加载到对应的分布式存储设备，则执行对下一批次的数据记录集的存储操作。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

若所述第一预设标记的状态标识为非数据预处理成功标识，清空所述当前批次的数据记录集在执行存储操作之后对应的临时缓存文件；

判断所述当前批次的数据记录集对应的临时目录是否存在；

若存在，则将下一批次的数据记录集添加到所述当前批次的数据记录集对应的临时目录，否则，创建此临时目录，并将下一批次的数据记录集添加到此临时目录；

基于数据添加后的临时目录当前对执行对当前批次和下一批次合并后的数据记录集的存储操作。

7.一种机器数据存储系统，其特征在于，包括:

划分模块，用于将实时采集的机器数据划分为若干个数据记录集，所述若干个数据记录集按批次进行数据存储，每一批次包括至少一个数据记录集；

标记模块，用于在当前批次对应的数据写前日志中创建第一预设标记；

数据预处理模块，用于采用并行方式对当前批次的各个数据记录集进行数据预处理；

所述标记模块，还用于根据所述数据预处理模块的并行数据预处理结果更新所述第一预设标记的状态标识；

所述标记模块，还用于当所述第一预设标记的状态标识为数据预处理成功标识时，在当前批次对应的数据写前日志中为每一数据记录集创建第二预设标记；

加载模块，用于采用并行方式将当前批次中的每一数据记录集加载到对应的分布式存储设备；

所述标记模块，还用于根据所述加载模块对各个数据记录集的数据加载结果更新对应的第二预设标记的状态标识。