[发明专利]机器数据存储方法及系统

说明书

本发明提供一种机器数据存储方法及系统，该方法包括：将机器数据划分为若干个数据记录集，数据记录集按批次进行数据存储；在当前批次的数据写前日志中创建第一预设标记；采用并行方式对当前批次的数据记录集进行数据预处理，根据处理结果更新第一预设标记的状态标识；若第一预设标记的状态标识为成功标识，在当前批次的数据写前日志中为各数据记录集创建第二预设标记；采用并行方式将当前批次的数据记录集加载到对应的分布式存储设备，根据各数据记录集的数据加载结果更新对应的第二预设标记的状态标识。本发明以数据记录集为单位进行标记，在后续能够以数据记录集为粒度进行数据恢复，不仅避免了部分不完整数据的导入，还能够减少系统额外开销。

技术领域

本发明涉及机器数据处理技术领域，尤其涉及一种机器数据存储方法及系统。

背景技术

随着互联网技术的广泛应用，在科技行业，以及传统行业与互联网行业的结合的大背景下，企业的机器数据的增长呈现指数级，这些数据含有宝贵的价值，而在机器数据接入时需要实现可靠数据存储。

但是，由于机器数据的体量过于庞大，对于7*24小时持续高吞吐量的机器数据，若是采用例如现有MapReduce计算框架(MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算)或传统数据库事务方式，在大批量数据处理上进行ACID(ACID原则是数据库事务正常执行的四个原则，分别指原子性、一致性、独立性及持久性)的验证，如数据存储异常，则需要对该大批量数据进行重新存储，不仅增加系统额外开销，而且可能导致出现数据注入堆积问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的机器数据存储方法及系统。

本发明的一个方面，提供了一种机器数据存储方法，包括:

将实时采集的机器数据划分为若干个数据记录集，所述若干个数据记录集按批次进行数据存储，每一批次包括至少一个数据记录集；

在当前批次对应的数据写前日志中创建第一预设标记；

采用并行方式对当前批次的各个数据记录集进行数据预处理，并根据并行数据预处理结果更新所述第一预设标记的状态标识；

若所述第一预设标记的状态标识为数据预处理成功标识，则在当前批次对应的数据写前日志中为每一数据记录集创建第二预设标记；

采用并行方式将当前批次中的每一数据记录集加载到对应的分布式存储设备，并根据各个数据记录集的数据加载结果更新对应的第二预设标记的状态标识。

可选地，在所述在当前批次对应的数据写前日志中创建第一预设标记之后，所述方法还包括：

清空上一批次的数据记录集在执行存储操作之后对应的临时缓存文件；

为所述当前批次的数据记录集创建对应的临时目录；

所述采用并行方式对当前批次的各个数据记录集进行数据预处理，包括：

采用并行方式对所述临时目录中的各个数据记录集进行数据预处理。

可选地，所述方法还包括：

根据所述当前批次对应的数据写前日志对当前批次的数据存储操作进行ACID校验。

可选地，所述根据所述当前批次对应的数据写前日志对当前批次的数据存储操作进行ACID校验，包括：

获取所述当前批次对应的数据写前日志中的第一预设标记；

若所述第一预设标记的状态标识为数据预处理成功标识，则获取所述当前批次对应的数据写前日志中各个数据记录集对应的第二预设标记；