[发明专利]一种面向周期性复制系统的成本最小化一致性维护方法

说明书

一种面向周期性复制系统的成本最小化一致性维护方法，为周期性复制系统建立了一致性维护成本的量化分析模型，包括陈旧度成本，存储成本和通信成本，可有效量化、分析、优化不同一致性的维护成本；根据系统的一致性维护成本的量化分析模型，推导出当前工作负载下使系统同步成本最优的同步周期；基于推导出的最优同步周期，建立了系统实际运行时成本最小化的一致性维护方法，可根据不同的工作负载自适应地调整同步周期，在运行时最小化系统的同步成本；用户的体验和系统的性能与副本的陈旧度直接相关,将副本陈旧度单位转换为成本，可有效度量使用陈旧信息的业务成本。本发明能根据实际运行状况自适应的调整同步配置以最小化系统的同步成本。

技术领域：

本发明公开了一种面向周期性复制系统的成本最小化一致性维护方法，涉及广域分布式存储系统面临的挑战，属于计算机技术领域。

背景技术：

现代存储系统普遍采用基于领导者的周期性复制(也称主动/被动或主/从复制)技术来降低同步成本，这种复制方式由于领导者节点的强一致性及周期同步的低网络带宽消耗，在广域分布的系统中得到了广泛的部署及使用，例如HDFS、Lustre、GlusterFS、MongoDB等。在云存储系统中，优化一致性维护策略对于降低其运营成本至关重要，因此，一个关键的问题是如何优化一致性维护策略以降低系统的同步成本。对周期性复制系统而言，追随者节点的同步频率是一个重要问题。如果同步较为频繁，追随者节点副本数据可能会相对更新，但同步的成本会很大。首先，频繁的同步请求浪费了网络带宽，甚至可能有很多同步请求没有返回最新更新，特别是在广域环境中，减少广域带宽的消耗非常重要；其次，过多的追随者同步请求可能会使领导者节点过载，降低系统的性能。另外，追随者节点副本数据较低的同步频率可以降低同步成本，但会提高追随者节点的副本陈旧度，增加了使用陈旧信息的业务成本。用户的体验和系统的性能与副本的陈旧度直接相关，可以将陈旧度单位转换为成本，但是大部分的优化策略均忽略了这一点。而且不同的应用程序对数据的陈旧度容忍性不同，我们可以据此进一步降低系统的同步成本。因此，将副本陈旧度成本考虑在内，并根据不同的系统负载设置不同的同步周期，对于建立自适应的同步策略，从而降低系统和应用的成本具有重要意义。现有的一致性维护策略以不同的方式降低了系统的同步成本。这些一致性的维护策略可以分为静态方法和动态方法。

静态的方法，通常在系统开发时设定了一致性协议，无法在运行时改变，这是一种“one-size-fits-all”的思想。最常用的一致性协议是强一致性协议和最终一致性协议。例如Google Spanner、Windows Azure Storage，MongoDB等系统采用强一致性协议，而Dynamo、Cassandra则支持最终一致性协议。Spanner是Google开发的可扩展、多版本、全球分布式并支持同步复制的数据库，并通过同步复制和多版本来满足外部一致性，并具有高可用性。Spanner使用Paxos协议在多个副本间同步redo日志，从而保证数据在多个副本上是一致的。WAS(Windows Azure Storage)系统为云中的数据对象提供具有高可用性、安全性、持久性、可大规模缩放且具有冗余性的存储。WAS提出了一种“链式提交”方法来保证了分布式数据流的一致性。当数据请求返回ACK后，保证三个副本同时写入并持久化这条请求，此时三个副本一定是“强一致”的。Amazon DynamoDB是一种全托管NoSQL数据库服务，提供快速而可预测的性能，能够实现无缝扩展。在DynamoDB中，强一致性读取是最终一致性读取的成本的2倍，因此其允许用户在读取数据时根据需要在强一致性读取和最终一致性读取之间进行选择。Amazon S3是用于Internet的简单的基于密钥的对象存储服务。所有区域中的Amazon S3存储桶为新对象的PUTS提供写后读取一致性，并为覆盖PUTS和DELETES最终提供一致性。另有一些工作则改进了一致性协议来降低系统的同步成本，例如RS-Paxos、Craft。传统的Paxos协议将数据副本完整地复制到所有参与节点中。然而，完整的副本复制在网络和存储成本方面都很昂贵，尤其是在使用商用硬盘的广域应用中。RS-Paxos、CRaft将纠删码结合到Paxos/Raft协议中，提高了系统的写入吞吐量。类似的工作还有Pando和Giza系统，他们均通过将纠删码结合到不同的一致性协议中来减少系统的存储成本和通信成本。