[发明专利]数据存储的方法、控制器和系统

说明书

本申请提供了一种数据存储的方法，使得主集群的控制器不需要进行合并操作，避免了在执行合并的过程中带来很大的带宽压力以及IO压力，提高了系统性能。该方法包括：接收第二控制器发送的合并后的文件、第一序列号和第一标识信息，第一序列号为合并后的文件中的第一数据的序列号，第一标识信息用于指示合并后的文件在备集群内的区域号为第一区域号；根据第一序列号，确定合并后文件中最后一个写入的数据的序列号；比较合并后的文件中最后一个写入的数据的序列号和未合并的文件中最后一个写入的数据的序列号；当未合并的文件中最后一个写入的数据的序列号小于该合并后的文件中最后一个写入的数据的序列号时，删除未合并的文件；存储合并后的文件。

技术领域

本申请涉及存储领域，并且更具体地，涉及一种数据存储的方法、控制器和系统。

背景技术

在跨可用区域(Availability Zone，AZ)双活架构下，主集群对用户设备提供读写服务，备集群只用于备份主集群的数据，以用于在主集群发生故障丢失数据时，向主集群发送备份的数据从而恢复数据，备集群不对用户设备提供读写服务。在主集群和备集群之间，通过同步数据预写式日志(Write-Ahead Logging，WAL)来实现数据同步。主备集群均采用分布式存储系统(Hadoop Database，HBase)，主备集群根据数据WAL分别生成各自的meta和HFile，并且分别执行HFile的合并compaction操作。由于在执行compaction的过程中会带来很大的带宽压力以及短时间的IO压力和计算压力，导致HBase性能大幅下降。主集群对用户设备提供读写服务，但是主集群在执行compaction的过程中会带来很大的带宽压力以及短时间的IO压力，并且compaction的执行会消耗计算能力，导致HBase性能大幅下降，影响了用户体验。

发明内容

本申请提供一种数据存储的方法、控制器和系统，主集群的控制器接收备集群的控制器发送的合并后的文件，主集群的控制器删除原来存储在主集群的控制器上的未合并的文件，该未合并的文件已包括备集群的控制器发送的合并后的文件，主集群的控制器不需要进行的合并操作，因此，避免了在执行compaction的过程中带来很大的带宽压力以及短时间的IO压力，改善了用户体验，提升了系统性能。

第一方面，提供了一种数据存储的方法，该方法应用于集群系统，该系统包括主集群和备集群，该方法由第一控制器执行，该第一控制器为该主集群的控制器，第二控制器为该备集群的控制器，该方法包括：

接收该第二控制器发送的合并后的文件、第一序列号和第一标识信息，该第一序列号为该合并后的文件中的第一数据的序列号，该第一标识信息用于指示该合并后的文件在该备集群内的区域号为第一区域号；根据该第一序列号，确定该合并后的文件中最后一个写入的数据的序列号；比较该合并后的文件中最后一个写入的数据的序列号和未合并的文件中最后一个写入的数据的序列号，该未合并的文件为该主集群内区域号是该第一区域号的文件；当该未合并的文件中最后一个写入的数据的序列号小于该合并后的文件中最后一个写入的数据的序列号时，删除该未合并的文件；在该主集群内，存储该合并后的文件。

因此，该主集群的第一控制器在接收到该备集群的第二控制器发送的合并后的文件、第一序列号和第一标识信息后，根据该第一序列号，确定该合并后的文件中最后一个写入的数据的序列号，再比较该合并后的文件中最后一个写入的数据的序列号和未合并的文件中最后一个写入的数据的序列号，当该未合并的文件中最后一个写入的数据的序列号小于该合并后的文件中最后一个写入的数据的序列号时，删除该未合并的文件，在该主集群内，存储该合并后的文件。该第一控制器不需要进行的合并操作，因此，避免了在执行compaction的过程中带来很大的带宽压力以及短时间的IO压力和计算能力的消耗，进而提高了主集群的性能，改善了用户体验。

结合第一方面，在第一方面的某些实现方式中，该方法还包括：在该主集群内，将该合并后的文件的区域号设置为该第一区域号。

此时，通过将该合并后的文件的区域号设置为该第一区域号，建立起第一区域与该合并后的文件的关联，以便于根据该第一区域号查找文件。