[发明专利]一种基于私有云的缓存数据一致性维护方法

说明书

本发明公开了一种基于私有云的缓存数据一致性维护方法。本发明方法由基于缓存的地址空间回溯算法，基于缓存的控制算法和基于缓存的操作执行算法组成。基于缓存的地址空间回溯算法是将缓存状态切换到远程操作产生时；基于缓存的控制算法是在执行远程操作时将缓存状态进行更新；基于缓存的操作执行算法描述的是远程操作的执行逻辑。本发明通过维护私有云下每个缓存节点中数据的一致性，使得重定向的请求能够直接从新定位的应用服务器节点中获取数据，而不会出现大量请求击穿缓存层直接访问数据持久层的情况，解决了原本数据服务在架构动态伸缩的情况下无法保证高效的问题。

技术领域

本发明涉及缓存数据一致性维护技术领域，具体的说，涉及一种基于私有云的缓存数据一致性维护系统和方法。

背景技术

在如今海量数据存储和计算越来越为热门的信息时代，云计算已经逐渐渗透到信息技术领域的方方面面，并对传统软件的开发部署和交付形式都产生了巨大的影响。根据云计算的访问模式和控制模式来分，可以分为私有云，公有云和混合云三类。其中私有云凭借其可定制化，部署灵活，对数据访问更加高效和安全的特点，在云计算服务提供解决方案中的应用越来越为广泛。为了保证私有云平台下的系统具有一定的负载能力，一般情况下设计多个应用服务器节点来构建一个稳定的，可扩展的，具有伸缩性的系统架构。此外，为了保证系统获取数据的高效性，常常会在应用服务器节点中添加缓存。在高吞吐量的负载下，单个节点常常会出现失效的情况，为了保证私有云下数据服务的高可用性，常常将原定位到该失效节点的请求重新定位到其他可用的应用服务器节点。由于缓存原本承担了大量的数据请求压力，而重定位的请求将会直接击穿缓存层，使得数据库的访问压力大大增加，这将导致整个私有云下的数据服务效率下降。

一致性哈希算法是一个解决上述问题的方法之一。该算法通过构建一个虚拟的哈希环来减少缓存迁移给整个系统的性能带来的影响，但是该算法针对的是哈希取余的路由请求分发系统，不适合固定的请求分发情况。在数据一致性维护方面，主要包含三个研究方向：一是基于悲观复制的一致性算法，二是缓存和数据持久层之间的一致性维护，三是乐观复制一致性算法。悲观复制的一致性算法代表性的算法是paxos，它是假设消息在不被篡改的情况下，使得所有参与的节点对于某个变量有一个一致的认知，另外还有两段锁/三段锁协议等具体的应用。TxCache模型是用来解决事务型操作在缓存和持久层之间一致性问题的，通过入侵数据库代码来实现每个事务ID和数据库快照ID进行绑定，从而为每个事务查询操作保存了对应的数据源视图，当事务第一次执行时，将会在数据库中相关的数据元组中生成标签，在数据放入到缓存中，生成数据开始有效的时间戳。在系统后续的运行过程中，如果数据源中的数据被修改，则将生成标签流，调用后台的线程逐一将标签流发送到各个缓存节点，每个缓存节点则会对存储在自己内部的数据进行识别和数据失效的时间戳。当一个请求到达系统的时候，就可以根据用户对于数据新鲜度的要求，以缓存中标记的有效时间戳和失效时间戳来选择返回对应的数据集。乐观复制的一致性算法的主要代表就是操作转换技术(Operational Transformation，简称OT)和地址空间转换技术(AddressSpace Transformation，简称AST)，OT和AST都是讨论在组编辑系统下各个站点的副本在同一组操作序列下能够保持最终的一致性的算法。OT算法的主要思想是在协同编辑的时候，将操作进行转化，使得每个站点的最终结果一致，而AST算法，则是将当前站点的文本状态切换到该远程操作执行时的本文状态下执行该远程操作来维护最终的一致性。

发明内容

为了解决在私有云平台下，由于缓存节点宕机或者是由于用户流量减少使得云控制器自动减少挂载的应用服务器节点，使得缓存中的热点数据发生动态迁移而导致缓存失效的问题，本发明提供一种基于私有云的缓存数据一致性维护系统和方法。本发明通过扩展AST(即地址空间转换技术)，分析缓存的数据存取特点和应用场景，从而维护在私有云平台下每个缓存节点中数据的一致性，使得重新定位的请求能够在缓存中获取数据，大大提高节点失效情况下系统的性能。

本发明的技术方案具体介绍如下。