[发明专利]数据存储方法和装置

说明书

本发明公开了一种数据存储方法和装置，涉及大数据技术领域。该方法的一具体实施方式包括：获取多个待存储数据表，对多个待存储数据表进行分类，得到多个待存储表组；对于每一待存储表组，确定与待存储表组对应的目标数据库集群；确定所述待存储表组对应的路由策略，依据所述路由策略，将所述待存储表组中的待存储数据表存储至所述目标数据库集群中对应的分片上。该实施方式能够动态的对数据进行分类存储，结合垂直拆分与水平拆分的方式，将关系紧密的数据存储在一起，满足分布式存储的需求，同时满足多场景数据存储的复杂性的需求；减少了分布式事务，提高了分布式系统处理数据的性能。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据存储方法和装置。

背景技术

随着金融业的飞速发展，银行间竞争也日趋激烈。为减少应用成本，各大银行已经把分布式的改造提上日程。而银行的交易系统，其特点是交易类型多，交易场景复杂，存储数据量庞大，数据集中存储于DB2数据库。目前系统内数据库表的数据量，最高可以达到百亿级，大部分数据量在千万到数十亿不等。在分布式存储的改造过程中，数据需要从DB2数据库迁移到基于开源或自研的数据库系统内。现有的集中存储策略受制于数据节点服务器的性能，无法满足交易的性能要求。分布式改造的做法是通过设立一个统一的分片键进行数据拆分，满足数据均匀分布以及多分片分布的要求。但是单纯地进行分片拆分，会造成如下问题：由于每个业务场景的流程、条件、数据结构都不尽相同，使用统一分片策略无法满足金融业务的复杂场景需求；使用统一的分片策略对现有系统的侵入较大，需要应用进行重构；5.跨多个表进行交易的场景下，所涉及的数据存储于不同分片会造成分布式事务，影响交易的性能。因此亟需一种大数据体量的情况下数据动态部署的方案，不受数据库类型的影响，满足金融的复杂交易场景并提高交易的性能。

发明内容

有鉴于此，本发明实施例提供一种数据存储方法和装置，能够动态的对数据进行分类存储，结合垂直拆分与水平拆分的方式，将关系紧密的数据存储在一起，满足分布式存储的需求，同时满足多场景数据存储的复杂性的需求；减少了分布式事务，提高了分布式系统处理数据的性能。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据存储方法，所述方法应用于分布式存储系统中，所述分布式存储系统包括多个数据库集群，每个所述数据库集群包括多个分片；所述方法包括：

获取多个待存储数据表，对所述多个待存储数据表进行分类，得到多个待存储表组，其中，每个待存储表组中至少包括一个所述待存储数据表；

对于每一待存储表组，确定与所述待存储表组对应的目标数据库集群；

确定所述待存储表组对应的路由策略，依据所述路由策略，将所述待存储表组中的待存储数据表存储至所述目标数据库集群中对应的分片上。

可选地，对所述多个待存储数据表进行分类包括：

对于每一待存储数据表，统计所述待存储数据表的操作信息；

根据所述操作信息，确定所述待存储数据表的类别。

可选地，所述操作信息包括以下一种或多种操作在单位时间内的操作次数：插入、删除、修改，查询和游标；

根据所述操作信息，确定所述待存储数据表的类别包括：

根据所述一种或多种操作在单位时间内的操作次数，确定所述待存储数据表的类别。

可选地，根据所述一种或多种操作在单位时间内的操作次数，确定所述待存储数据表的类别包括：

当所述查询操作的操作次数大于或等于第一阈值，且所述插入操作、删除操作、修改操作和游标操作的操作次数均小于或等于第二阈值时，所述待存储数据表的类别为查询类；