[发明专利]基于Redis分布式缓存的数据处理系统

说明书

本发明提供一种基于Redis分布式缓存的数据处理系统，包括：多级缓存系统和Kafka分布式消息系统；其中，多级缓存系统用于将数据从上至下分级缓存，多级缓存系统由最上级的第一级缓存单元、中间级的第二级缓存单元、最下级的第三级缓存单元组成；第一级缓存单元为Nginx本地缓存；第二级缓存单元为Redis分布式缓存；第三级缓存单元由具体微服务所在服务器的堆内存、具体微服务所在服务器的硬盘及MySQL数据库组成，MySQL数据库用于存储或备份服务器上所有数据，具体微服务用于协调MySQL数据库工作。本发明系统可适用于百亿级数据的处理，加快数据计算。

技术领域

本发明涉及大数据处理技术领域，特别涉及一种基于Redis分布式缓存的数据处理系统。

背景技术

目前对于提升大数据处理速度已有较多的研究，这些研究从框架算法设计、分布式计算、算法优化等几个方面进行了有益的探讨。以下为针对大数据处理各方面问题的典型处理方法：(1)为了解决大量重复数据导致MapReduce的混淆消耗过大及网络传输拥堵的问题，通过相似连接算法Q-sample，将其子串分割以减少过滤阶段的子串数量，从而减少网络传输数量，进而减少相似连接所耗费的时间。(2)为了解决大规模数据计算问题，提出了分块算法。分割数据流转换为固定大小的块，通过MD5算法生成散列值，然后由Map-Reduce模型用于识别重复项。(3)为了解决大数据处理算法计算速度过慢的问题，在计算模式上，分别将数据并行、模型并行两种计算模式应用在了深度学习上，让深度学习模型可以部署在计算集群上来进行训练。

以上研究虽提升了大数据的计算速度，但对于解决百亿级的数据读写缓慢以及便于读写程序扩展与修改的研究尚且不足。虽然对于提高多个具体微服务并列运行数据流的传输速度进行了有效的改进，但由于百亿级的数据量大，系统代码量大，在修改代码时难以修改与扩展的问题并没有解决，对于系统重复代码以及代码解耦的研究不足。

发明内容

本发明旨在提供一种基于Redis分布式缓存的数据处理系统，以针对解决如上百亿行级别的缓存数据计算速度慢的问题，为提高大数据计算的速度以及方便扩展问题。

为实现达到上述目的，本发明采用如下技术方案：

本发明提供一种基于Redis分布式缓存的数据处理系统，其特征在于，包括：多级缓存系统和Kafka分布式消息系统；其中，多级缓存系统用于将数据从上至下分级缓存，多级缓存系统由最上级的第一级缓存单元、中间级的第二级缓存单元、最下级的第三级缓存单元组成；第一级缓存单元为Nginx本地缓存；第二级缓存单元为Redis分布式缓存；第三级缓存单元由具体微服务所在服务器的堆内存、具体微服务所在服务器的硬盘及MySQL数据库组成，MySQL数据库用于存储或备份服务器上所有数据，具体微服务用于协调MySQL数据库工作；多级缓存系统作为生产者，发送请求的客户端作为消费者，生产者将消息发布到Kafka分布式消息系统，消费者从Kafka分布式消息系统订阅消息；多级缓存系统中，上级的数据缓存单元可从下级的数据缓存单元调用数据，具体微服务所在服务器的堆内存将调用频繁的数据上传至Redis分布式缓存中。

进一步，在本发明提供的基于Redis分布式缓存的数据处理系统中，还可以具有这样的特征：其中，Nginx本地缓存使用Nginx最外层的web服务器，通过lua脚本语言编程。

进一步，在本发明提供的基于Redis分布式缓存的数据处理系统中，还可以具有这样的特征：其中，Redis分布式缓存为基于AOP切面的Redis分布式数据库，具体通过如下方式实现：Redis分布式缓存具有多个供具体微服务使用的接口，采用AOP切面逻辑编写从服务器写入Redis分布式缓存的数据代码，将写入数据重复代码段定义为一类切面，并在原代码内设置相应的切点，当多个具体微服务同时写入数据时，通过切点调用该段代码，从而实现将读/写数据与业务数据解耦。