[发明专利]一种保证海量数据缓存实时性和一致性的系统及方法

摘要

本发明公开了一种保证海量数据缓存实时性和一致性的系统及方法，包括数据流提取模块采用数据库日志方式从实际数据存储模块中提取出变化数据流；基于流处理的数据缓存模块采用流处理的方法将提取出的变化数据流复制到目标数据缓存模块，在复制的过程中先将变化数据流拆分成数据元组，将数据元组拆分成数据域，仅仅对发生变化的数据域进行处理后，又将数据域进行聚合，最后写入目标数据缓存，从而保证数据缓存的一致性；在复制的过程中，仅仅用缓冲域库存储中间结果，保证了数据缓存的实时性。本发明具有高实时性、高并发性、高容错性等特性，通过基于流处理的数据缓存实现海量数据缓存一致过程。

主权项

一种保证海量数据缓存实时性和一致性的系统，其特征是，包括：数据流提取模块：采用数据库日志方式从实际数据存储模块中提取出变化数据流；基于流处理的数据缓存模块：采用流处理的方法将提取出的变化数据流复制到目标数据缓存模块，在复制的过程中先将变化数据流拆分成数据元组，将数据元组拆分成数据域，仅仅对发生变化的数据域进行处理后，又将数据域进行聚合，最后写入目标数据缓存，从而保证数据缓存的一致性；在复制的过程中，仅仅用缓冲域库存储中间结果，保证了数据缓存的实时性；所述基于流处理的数据缓存模块，包括：域分发数据处理单元，将提取的变化数据流中的数据元组拆分为数据域，按照域分发到不同域过滤数据处理单元，降低数据维度；域过滤数据处理单元，将拆分的数据域进一步过滤，仅仅提取发生变化的数据域，减少数据缓存一致数据流的处理量，未变化的数据域丢弃不处理；域缓冲数据处理单元，将域过滤数据处理单元输出的数据域临时存储于缓冲域库；域聚合数据处理单元，将数据域进行聚合为数据元组，提升数据维度，写入到目标数据缓存，完成数据缓存一致过程。