[发明专利]一种非对称多副本的分布式事务处理方法及系统

说明书

本发明涉及数据库分区技术领域，具体涉及一种非对称多副本的分布式事务处理方法及系统，对一个数据表的多个副本表按照不同的分区方法划分若干分区，获得多个副本表的分区，多个分区不均匀地分布在多个数据节点上，主表数据由同一个副本表划分的多个分区内的分片数据重构；通过非对称多副本机制同时具有数据分区系统和非分区系统的优点和查询优化机制；可通过Raft机制恢复数据，确保数据的安全性；通过Raft机制能够保证主表与多个副本表之间的数据一致性；同时能够在跨副本事务中，解决事务冲突问题，保证事务的全局有序性。

技术领域

本发明涉及数据库分区技术领域，具体是一种非对称多副本的分布式事务处理方法及系统。

背景技术

分布式数据库必须将数据表进行分区Partition或Shard分布式存储，同时为了满足数据高可用性和扩展性的需求，需要对数据表进行多副本复制Replication。分区Partition或Shard主要是为了可扩展性，不同的分区Partition分配到不同的CPU或分布式系统上的不同节点。因此，大数据集可以分布在多个处理器或节点上，查询负载可以分布在多个处理器或节点上。对于在单个分区上运行的查询，每个节点可以独立执行对自己的查询。数据库的多副本复制主要是为了高可用，即同一数据副本按照一定的策略复制到不同的处理器或不同节点上以获得容错能力和读性能水平扩展性。因此，只要存在一个可用数据副本，数据就能够恢复，通过分布到不同的处理器或节点上，同一份数据能够在多个处理器或节点上同时供外部访问。然而，大型复杂的查询可能会跨越多个分区或多节点并行处理，多分区间的数据访问成为影响系统性能的重要因素，特别是分布式事务的两阶段事务提交导致的额外数据网络传输代价。

目前，绝大部分分布式数据库系统的分区多副本机制，采用的是对称多副本机制，即数据库表的主数据和副本数据采用完全相同的数据分区算法，各分区副本按照相同的策略进行多处理器或多节点分配。对称多副本机制使分布式系统的事务一致性处理变得简单，所有数据分区具有幂等性，数据分区多副本也具有幂等性，事务调度和处理具有同等一致性，主数据分区和对应的副本分区数据是完全相同的，数据分区被平均分配到不同的处理器或节点上，跨分区或跨节点的分布式事务处理变得很低效，分布式系统两阶段事务提交跨节点或跨分区的额外数据传输不可避免。(Lu,et al.,2019)提出了一种基于非对称多副本复制机制，有效的改善了分布式系统的分布式事务处理性能。非对称副本复制机制实现一种全数据节点和部分数据节点协同存在的机制，全数据副本节点汇聚了同一数据表的所有分区，被分配在集群的一个节点上。然而，部分数据副本节点只包含部分数据分区副本，既可以是主分区，也可以是副索引分区。这样，针对跨分区的事务查询问题，被分配到全数据节点进行处理，而不需要跨分区或节点进行分布式事务处理，特别是对分布式系统两阶段事务提交有很好的改善，消除分布式事务处理性能瓶颈。针对单副本事务，可在多个部分副本节点的相应数据分区上并行查询，提高了系统性能。但是，这种非对称数据副本机制，需要对数据表和数据副本采用相同的分区方式，只是数据分区副本的节点分配方式有所不同。针对OLTP和OLAP混合事务、多索引分区以及数据重分区等方面，该非对称多副本复制机制却不能进行优化。

发明内容

有鉴于此，本发明的目的是提供一种非对称多副本的分布式事务处理方法及系统，能够解决背景技术所提出的技术问题。

本发明的一种非对称多副本的分布式事务处理方法，包括步骤：

对一个数据表的多个副本表按照不同的分区方法划分若干分区，获得多个副本表的分区，副本表的多个分区不均匀地分布在不同的数据节点上，同一副本表的全表数据可由同一个副本表的多个分区数据重构，也可以通过其它副本表的分区数据重构；

主表与多个副本表采用不同的分区方法和索引方式适应不同的数据查询任务；

主表的副本表与分区的副本表采用不同的数据查询任务和不同的索引方式；

主表与多个副本表之间通过Raft共识算法保持一致性；