[发明专利]机器数据存储方法及系统

摘要

本发明提供一种机器数据存储方法及系统，该方法包括：将机器数据划分为若干个数据记录集，数据记录集按批次进行数据存储；在当前批次的数据写前日志中创建第一预设标记；采用并行方式对当前批次的数据记录集进行数据预处理，根据处理结果更新第一预设标记的状态标识；若第一预设标记的状态标识为成功标识，在当前批次的数据写前日志中为各数据记录集创建第二预设标记；采用并行方式将当前批次的数据记录集加载到对应的分布式存储设备，根据各数据记录集的数据加载结果更新对应的第二预设标记的状态标识。本发明以数据记录集为单位进行标记，在后续能够以数据记录集为粒度进行数据恢复，不仅避免了部分不完整数据的导入，还能够减少系统额外开销。

主权项

一种机器数据存储方法，其特征在于，包括:将实时采集的机器数据划分为若干个数据记录集，所述若干个数据记录集按批次进行数据存储，每一批次包括至少一个数据记录集；在当前批次对应的数据写前日志中创建第一预设标记；采用并行方式对当前批次的各个数据记录集进行数据预处理，并根据并行数据预处理结果更新所述第一预设标记的状态标识；若所述第一预设标记的状态标识为数据预处理成功标识，则在当前批次对应的数据写前日志中为每一数据记录集创建第二预设标记；采用并行方式将当前批次中的每一数据记录集加载到对应的分布式存储设备，并根据各个数据记录集的数据加载结果更新对应的第二预设标记的状态标识。