[发明专利]一种基于业务规则的数据分区方法及装置

说明书

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于业务规则的数据分区方法及装置。

背景技术

数据库系统一直是应用系统实现最核心的环节。而目前的数据库系统是传统的单点处理模式，而单机的处理能力始终存在上限，随着大数据时代的来临，业务量快速增长，单机处理能力瓶颈日益凸显出来。就金融行业而言，近几年业务快速扩展，数据量激增，数据库单点的处理能力的问题日趋严重，而只能被动的进行纵向扩展，但无法根本解决此问题。

例如：现有DBF、votldb等采用对表制定分区键值，然后数据按照分区键值HASH值进行分区。

DBF虽然实现数据分区，但是存在明显的缺陷：1、按照HASH值分区，数据分布杂乱，导致范围查询效率慢；2、扩容不方便，一旦扩容，则HASH值重新调整，数据需要重新分布；3、按照HASH值进行写事务操作，数据杂乱无章，会产生大量的分布式事务，大大影响写事务效率和加大复杂度。

目前，尚无成熟的能通过横向扩展来提升事务处理能力的技术解决方案。

发明内容

为解决现有技术的问题，本发明提出一种基于业务规则的数据分区方法及装置，解决了随着事务量激增，数据库单节点处理模式面临的事务处理能力的瓶颈问题。

为实现上述目的，本发明提供了一种基于业务规则的数据分区方法，包括：

对业务交易数据按照表的形式进行分类；

在相关联的业务交易涉及到的数据表中，将访问概率大的数据表部署在相同事务处理节点上。

优选地，所述访问概率大为被访问的概率大于等于95％。

优选地，还包括：

将访问概率小的数据表部署在任一事务处理节点上。

为实现上述目的，本发明还提供了另一种基于业务规则的数据分区方法，

对业务交易数据按照表的形式进行分类；

根据关键信息将数据表进行划分获得数据块；其中，所述关键信息用于表示数据表身份以及数据表之间的关系；

在相关联的业务交易涉及到的数据块中，将访问概率大的数据块部署在相同事务处理节点上。

优选地，所述访问概率大为被访问的概率大于等于95％。

优选地，还包括：

将访问概率小的数据块部署在任一事务处理节点上。

优选地，还包括：

所述数据块之间具有耦合性，且分布在不同事务处理节点上时，采用两阶段提交协议和/或Paxos协议对数据块进行处理。

对应地，为实现上述目的，本发明还提供了一种基于业务规则的数据分区装置，包括：

第一分类单元，用于对业务交易数据按照表的形式进行分类；

第一分区单元，用于在相关联的业务交易涉及到的数据表中，将访问概率大的数据表部署在相同事务处理节点上。

优选地，还包括：

第二分区单元，用于将访问概率小的数据表部署在任一事务处理节点上。

对应地，为实现上述目的，本发明还提供了另一种基于业务规则的数据分区装置，包括：

第一分类单元，用于对业务交易数据按照表的形式进行分类；

第二分类单元，用于根据关键信息将数据表进行划分获得数据块；其中，所述关键信息用于表示数据表身份以及数据表之间的关系；

第一分区单元，用于在相关联的业务交易涉及到的数据块中，将访问概率大的数据块部署在相同事务处理节点上。

优选地，还包括：

第二分区单元，用于将访问概率小的数据块部署在任一事务处理节点上。

优选地，还包括：

第三分区单元，用于所述数据块之间具有耦合性，且分布在不同事务处理节点上时，采用两阶段提交协议和/或Paxos协议对数据块进行处理。

与现有技术方案相比，本技术方案增加事务处理节点横向扩展事务处理能力，减轻单节点处理压力，同时将提升事务的处理性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提出的一种基于业务规则的数据分区方法流程图之一；

图2为本发明提出的一种基于业务规则的数据分区方法流程图之二；

图3为本发明提出的一种基于业务规则的数据分区方法流程图之三；