[发明专利]一种通用缓存系统及其方法

说明书

技术领域

本发明涉及数据处理的技术领域，具体地涉及一种通用缓存系统及其方法，主要用于车联网系统中大数据的处理。

背景技术

随着人类社会的发展和进步，人们越来越多地采用汽车作为交通工具，道路上的汽车增长迅猛，这就亟需对道路上的车辆进行监控和分析，这样车联网系统就应运而生。而车联网系统中存在大量的数据需要进行存储和处理，这就要求车联网系统要具有一种通用缓存系统。

目前，在车联网系统中使用Redis缓存系统，但是这种缓存系统不能满足车联网系统的一些使用要求：

1、Redis缓存目前最新版本并不支持分片，但是当用户的数据量超过单机内存时，需要对缓存进行分片处理。

2、目前的Redis缓存一些客户端的Hash(哈希)分片不能达到数据均匀分布，并且不支持动态扩展。如果使用停机扩展，扩展后的数据不能达到均匀分布。

3、当多个业务使用Redis缓存的时候，会造成key的复杂，容易产生重叠错误，而且可维护性差。

4、目前Redis缓存的客户端为第三方开发，多语言支持不统一。

5、目前Redis缓存的监控和管理相对薄弱。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种通用缓存系统，其架构设计简单、实用、负载均衡，支持动态水平扩展且扩展过程中不影响应用系统正常访问，提高key的可维护性，支持多语言客户端访问；便于集中监控和管理。

本发明的技术解决方案是：这种通用缓存系统，其采用弱中心一致性Hash架构并包括配置服务器、数据服务器、脚本工具、客户端工具、Agent日志收集器、配置管理单元；

配置服务器为一个，配置来存储通用缓存的元数据，为客户端创建连接池、系统升级和状态通知使用；

数据服务器为一个或多个，配置来存储海量缓存数据；

脚本工具配置来提供初始化脚本用来初始化配置服务器元数据、提供动态扩展脚本用来动态水平扩展使用、提供管理脚本对缓存库、表的增删改查和缓存数据进行控制；

客户端工具配置来提供多语言客户端进行共享缓存访问；

Agent日志收集器配置来对每个服务器进行日志收集，统一进行监控；

配置管理单元配置来对缓存的安装、初始化、升级、和数据做统一的配置控制。

还提供了一种采用这种通用缓存系统的方法，该方法包括以下步骤：

(1)通过配置管理单元进行通用缓存系统的安装，用脚本工具来初始化配置服务器；

(2)应用服务通过客户端工具进行共享缓存的访问；

(3)在数据服务器上执行应用服务所有缓存的增删改查操作。

通过本发明的系统和方法，保证架构设计简单、实用，一致性Hash使缓存数据均匀分布，达到负载均衡；动态水平扩展能对现有数据进行迁移达到各缓存实例内存均衡，水平扩展后性能成线性增长，扩展过程中不影响应用系统正常访问；优化了Redis缓存客户端代码中keys指令的使用，客户端封装了丰富的查询接口，并在缓存扩展数据迁移的过程中解决了数据量大内存溢出的问题；引入库、表结构使不同业务之间实现数据隔离，提高key的可维护性；支持多语言客户端访问共享缓存，内存自动回收；每个实例提供Agent代理进行统一日志收集，便于集中的监控和管理。

附图说明

图1为根据本发明的弱中心一致性Hash架构示意图。

图2为采用根据本发明的通用缓存系统的方法的流程图。

图3为采用根据本发明的所述步骤(4)的流程图。

图4为采用根据本发明的所述步骤(5)的流程图。

具体实施方式

这种通用缓存系统，其采用弱中心一致性Hash架构(如图1所示)并包括配置服务器、数据服务器、脚本工具、客户端工具、Agent日志收集器、配置管理单元；

配置服务器为一个，配置来存储通用缓存的元数据，为客户端创建连

接池、系统升级和状态通知使用；

数据服务器为一个或多个，配置来存储海量缓存数据；

脚本工具配置来提供初始化脚本用来初始化配置服务器元数据、提供动态扩展脚本用来动态水平扩展使用、提供管理脚本对缓存库、表的增删改查和缓存数据进行控制；

客户端工具配置来提供多语言客户端进行共享缓存访问；

Agent日志收集器配置来对每个服务器进行日志收集，统一进行监控；

配置管理单元配置来对缓存的安装、初始化、升级、和数据做统一的配置控制。