[发明专利]用于分片存储数据的方法和系统

说明书

本公开提供了一种用于分片存储数据的方法和系统，涉及数据存储技术领域。该方法包括：对业务对象的基本数据进行分片处理，并将分片处理后的每组基本数据映射到一个或多个分卷标识；将每个分卷标识映射到一个物理节点以将每组基本数据分别存储在相应的物理节点上；以及在存储该业务对象的关联数据时，查找该关联数据对应的基本数据的分卷标识，将该关联数据存储在该分卷标识映射到的物理节点上。本公开实现了基于动态分卷的分布式数据存储，解决现有技术对一些比较大的业务对象数据分配不均衡的问题。

技术领域

本公开涉及数据存储技术领域，特别涉及一种用于分片存储数据的方法和系统。

背景技术

当前，随着行业用户量增多、业务日趋复杂、数据量越来越大，数据存储方式从传统集中式数据库转向分布式数据库分片存储。分布式数据库数据分片和分布对整个系统的可用性、可靠性及效率有极大影响。分布式数据库数据分片有三种基本方法。它们是通过关系代数的基本运算来实现的，包括水平分片、垂直分片和混合分片。即按一定切分规则将数据分布到不同的节点中存储，通过既定的路由规则查找并访问数据。

目前，基于分布式数据库，业务数据多按数据主键标识进行散列分片存储，当业务对象数据关联层次较为扁平的情况下，数据存储分布则较为均匀；而某一部分业务对象数据关联层次较深、结构庞大复杂，且访问较为频繁的情况下，这部分数据存储按现有的分片方式则会集中分布在某一个或几个分片，会导致负载不均衡而影响性能。当某数据库满载时，进行数据库的扩容，需进行数据的迁移和割接，工程量大、复杂且成本高。

发明内容

本公开实施例需要解决的一个技术问题是：提供一种用于分片存储数据的方法或系统，以实现数据的分片存储。

根据本公开实施例的一个方面，提供了一种用于分片存储数据的方法，包括：对业务对象的基本数据进行分片处理，并将分片处理后的每组基本数据映射到一个或多个分卷标识；将每个分卷标识映射到一个物理节点以将每组基本数据分别存储在相应的物理节点上；以及在存储所述业务对象的关联数据时，查找所述关联数据对应的基本数据的分卷标识，将所述关联数据存储在该分卷标识映射到的物理节点上。

可选地，所述方法还包括：在当前分卷标识所对应的关联数据的数量达到阈值的情况下，将新增的与当前组的基本数据对应的关联数据归属于下一个分卷标识。

可选地，不同的分卷标识映射到不同的物理节点。

可选地，所述对业务对象的基本数据进行分片处理的步骤包括：按照预定的维度对业务对象的基本数据进行分片处理。

可选地，所述维度包括：时间和/或功能。

可选地，在对业务对象的基本数据进行分片处理的步骤之前，所述方法还包括：建立所述维度与分片规则的对应关系；其中，基于与所述维度对应的分片规则对所述基本数据进行分片处理。

可选地，所述分片规则包括：哈希分片、列表分片和取模分片中的至少一个。

根据本公开实施例的另一个方面，提供了一种用于分片存储数据的系统，包括：分片单元，用于对业务对象的基本数据进行分片处理，并将分片处理后的每组基本数据映射到一个或多个分卷标识；映射单元，用于将每个分卷标识映射到一个物理节点以将每组基本数据分别存储在相应的物理节点上；以及存储单元，用于在存储所述业务对象的关联数据时，查找所述关联数据对应的基本数据的分卷标识，将所述关联数据存储在该分卷标识映射到的物理节点上。

可选地，所述存储单元还用于在当前分卷标识所对应的关联数据的数量达到阈值的情况下，将新增的与当前组的基本数据对应的关联数据归属于下一个分卷标识。

可选地，不同的分卷标识映射到不同的物理节点。

可选地，所述分片单元用于按照预定的维度对业务对象的基本数据进行分片处理。