[发明专利]一种针对分布式数据库的数据处理方法、装置及系统

说明书

本发明实施例提供了一种针对分布式数据库的数据处理方法、装置及系统。该方法应用于分布式数据库系统中的管理服务器，所述管理服务器中记录有针对目标文件的、分布式存储的多个子文件的文件标识，以及关于每一子文件的文件标识与该子文件所位于分片节点的对应关系；该方法包括：确定多个子文件中待迁移的子文件的目标文件标识；基于目标文件标识以及对应关系，确定待迁移的子文件所位于的分片节点，作为初始节点；将初始节点中的具有目标文件标识的子文件，迁移至扩容节点，扩容节点为系统扩容时在分布式数据系统中预先增设的分片节点。通过本方案，可以解决分布式数据库扩容过程中计算开销和日志开销较大的问题。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种针对分布式数据库的数据处理方法、装置及系统。

背景技术

在分布式数据库系统中，管理服务器将任一文件分布存储于多个分片节点，这样形成了逻辑文件+分区文件的存储形式。例如：表格文件分布存储于多个分片节点，每个分片节点中存储有表格文件的部分文件内容。

弹性扩容是分布式数据库系统必备的基础功能。其中，在分布式数据库系统中增设扩容节点后，即增加新的分片节点后，将文件的数据内容进行数据重分布，以完成扩容，具体而言：将至少一个分片节点中的文件的数据内容，迁移至新增加的扩容节点中。

相关技术中，管理服务器在确定出用于筛选待迁移数据的查询条件后，从分片节点中按照行级来读取满足查询条件的数据，进而将读取到的数据写入到新增加的扩容节点中。

可见，由于按照行级来读取满足查询条件的数据，因此，导致扩容过程中的计算开销和日志开销较大。

发明内容

本发明实施例的目的在于提供一种针对分布式数据库的数据处理方法、装置及系统，以解决现有技术扩容过程中计算开销和日志开销较大的问题，同时对分布式数据库系统进行灵活扩容，避免硬件资源的浪费。具体技术方案如下：

本发明实施例的目的在于提供一种针对分布式数据库的数据处理方法、装置及系统，以解决现有技术扩容过程中计算开销和日志开销较大的问题。具体技术方案如下：

第一方面，本发明实施例提供了一种针对分布式数据库的数据处理方法，应用于分布式数据库系统中的管理服务器，所述管理服务器中记录有针对目标文件的、分布式存储的多个子文件的文件标识，以及关于每一子文件的文件标识与该子文件所位于分片节点的对应关系；所述方法包括：

确定所述多个子文件中待迁移的子文件的目标文件标识；

基于所述目标文件标识以及所述对应关系，确定所述待迁移的子文件所位于的分片节点，作为初始节点；

将所述初始节点中的具有所述目标文件标识的子文件，迁移至扩容节点，所述扩容节点为系统扩容时在所述分布式数据系统中预先增设的分片节点。

可选地，所述将所述初始节点中的具有所述目标文件标识的子文件，迁移至扩容节点的步骤之后，所述方法还包括：

将所述对应关系中所述目标文件标识所对应的分片节点，更改为所述扩容节点。

可选地，所述将所述初始节点中的具有所述目标文件标识的子文件，迁移至扩容节点，包括：

向所述初始节点发送针对具有所述目标文件标识的子文件的迁移指令，以使所述初始节点在接收到所述迁移指令后，确定具有所述文件标识的子文件待迁移至的扩容节点，通过文件传输方式，将具有所述目标文件标识的子文件传输至所述扩容节点。

可选地，所述方法还包括：在具有所述目标文件标识的子文件传输完成后，检测所述初始节点中具有所述目标文件标识的子文件，相对于所述扩容节点中的具有所述目标文件标识的子文件，是否存在增量数据；

若存在增量数据，则将增量数据写入到所述初始节点中的具有所述目标文件标识的子文件中。