[发明专利]元数据交互方法及系统

说明书

本发明的目的是提供一种元数据交互方法及系统，通过本发明通过将多个后端机组成一个后端一致性总系统，将后端机分成多个分区，各个分区分别响应对应的请求，分担请求压力，避免由同一个后端机响应所有请求，导致压力过大的问题，实现了后端机的水平扩展，另外，通过为不同的用户分配对应的分区，能够给每个用户所写的元数据资源空间做Quota配额，而且用户之间的元数据得到分区与隔离，安全性也得到保证，也便于区分不同的用户进行Quota配额的计费。

技术领域

本发明涉及计算机领域，尤其涉及一种元数据交互方法及系统。

背景技术

现在越来越多的业务的数据存储需要突破数据中心的边界，实现跨地域服务的能力。基于跨地域的数据异步复制看似能解决这个问题，然而事实上这种异步复制会带来数据难以达到一致性的问题，甚至存在无法处理地域级别的容灾问题。在一些对数据一致性和可靠性要求极高的行业，例如互联网金融业，这种异步复制是完全不能胜任的。

因此，在设计跨地域一致性元数据存储系统(Global Meta System)方案时，后端系统会始终离不开使用分布式一致性系统(Quorum)来解决数据的高可用，一致性等。Quorum组图如图2所示，Quorum组中有角色Leader，Follower，Observer。在分布式一致性系统中，把组成一致性系统的几台机器称为一个Quorum，这个Quorum里面的机器中的数据是一样的，其中有几个角色，Leader代表是该Quorum中的领导者，也就是所有请求到Quorum中的事务性请求都必须进过Leader来处理；Follower是接受非事务性请求，如果接收到事务性请求就需要转发给Leader。Leader和Follower之间需要对用户的事务性请求数据进行决策，同不同意这个请求数据。Observer在Quorum中只是个学习者，就从Leader中拉取数据，主要起到备份数据的作用。在此，事务性请求指的是写/更新等可以改变后端一致性系统(NuwaLog)中的log数据的请求；非事务性请求指的是读等不改变后端一致性系统(NuwaLog)log数据的请求。

随着Quorum组中的机器增多，一个事务性请求请求需要proposer到Quorum组中N/2+1台机器得到确认(ack)，其中，N代表该Quorum中的机器数量，一般在Quorum组中部署奇数个机器的Server,其中，机器之间的通信导致的网络延迟增大，由此可见，Quorum不能任意扩展，Quorum组之间通信的开销会导致事务性请求的性能下降。

目前，业界有一些比较好的一致性系统，如：zookeeper，chubby等。后端一致性系统(Quorum)一般由奇数个服务器(server)组成。跨地域一致性元数据系统中的(Frontend)的所有前端事务性请求都需要达到后端中，所有的请求都会与后端建立TCP连接与会话session，这样会导致后端的压力，而理论上Quorum不能任意扩展，因为Quorum组之间通信的开销会导致事务性请求的性能下降。另外，在每一个Quorum组中，用户的数据都往这个组里面写，会经常出现后端压力过大，用户所写的数据会不均匀，有的用户写的数据多，有的用户写的数据少，不能给每个用户所写的资源空间做Quota配额，而且用户之间的数据得不到分区与隔离，安全性也得不到保证的问题。

在全球化的场景下，单纯的利用一致性系统存储元数据如log(日志)和snapshot(快照)，会造成单机存储性能的下降和存储容量的限制，数据存储站点数量受一致性协议Quorum节点数的限制，而且每个地域(region)读取数据性能低。其中，Log为事务性日志，也就是用户发送的请求数据，在后端一致性系统中统一称为Log；Snapshot为快照，也就是后端一致性系统中某一时刻内存中全量数据的快照。

在设计跨地域一致性元数据存储系统架构中，最核心的是需要分布式一致性系统来保证全球元数据的一致性。业界通用的做法是利用zookeeper或者chubby，或者基于paxos实现的一致性系统，如图1所示，它们的通用架构是：