[发明专利]实时大数据镜像存储方法及装置

摘要

本发明实施例提供了一种实时大数据镜像存储方法及装置，该方法对从实时数据源中获取的原始数据进行数据拆分，并对拆分后的数据按实际业务需求进行重排、筛选、删除等镜像处理，最终存储经过镜像处理之后的数据，从而能够减少数据冗余，提高数据可用性。此外，本发明实施例提供的方法还能够对经过镜像处理后的缓存数据、最终存储在指定路径的存储数据进行检验分析，只有在与原始数据的误差较小时才能够完成本次存储，从而能够增加存储数据的准确性，为后期的数据分析提供有力支持。

主权项

1.一种实时大数据镜像存储方法，其特征在于，包括：接收实时数据源；对所述实时数据源中的原始数据进行行列拆分，获取所述原始数据的原始数据记录数；并对所述原始数据按预设的镜像算法进行镜像处理，得到镜像后的数据结果，再将所述数据结果存储至缓存变量中，记录所述缓存变量中的缓存数据记录数；若所述缓存变量的大小达到设定值，则判断所述原始数据记录数与所述缓存数据记录数的误差是否小于预设阈值；若小于，则将所述缓存变量中的缓存数据按指定的配置路径存储至存储文件中，记录所述存储文件中的存储数据记录数；判断所述缓存数据记录数与所述存储数据记录数的误差是否小于预设阈值；若小于，则将所述存储文件发送至外部分布式存储系统进行存储。