[发明专利]分片数据的写入方法、系统及电子设备

说明书

本发明提供了一种分片数据的写入方法、系统及电子设备，属于数据库的技术领域，缓解了现有技术容易导致一个文件的多个分片的改动结果不一致的问题。该方法包括：收集每个分片的日志区间，所述日志区间包括生效的最后一条日志的日志序号I，及记录的最后一条日志的日志序号L；若全部分片的I与L均相等，则执行新增日志步骤；若存在I=n且L=n+1的分片，则通过纠删算法使I与L相等，并返回收集每个分片的日志区间的步骤；若存在I=n，L＜n或L＞n+1的分片，则将该分片的日志区间的L视为无效，并执行新增日志步骤；新增日志步骤：基于PAXOS共识算法对各个分片进行新增日志写入；其中，n为任意自然数。

技术领域

本发明涉及数据库技术领域，尤其是涉及一种分片数据的写入方法、系统及电子设备。

背景技术

随着对数据安全性的要求不断提高，分布式文件系统被越来越多的场景应用。在分布式文件系统的设计中，要将文件的一个特定大小的数据块（条带）使用纠删码算法（如李德所罗门纠删码）计算为附带冗余的分片（条块），然后将分片分布在容灾域内不同的磁盘上，以实现分散容灾的能力。

在分片的分发与合并，即写与读的操作时，时常出现对同一文件存在多个改动进程的情况，容易导致一个文件的多个分片的改动结果不一致的问题。

发明内容

本发明的目的在于提供一种分片数据的写入方法、系统及电子设备，缓解了现有技术容易导致一个文件的多个分片的改动结果不一致的问题。

第一方面，本发明提供一种分片数据的写入方法，包括：

收集每个分片的日志区间，所述日志区间包括生效的最后一条日志的日志序号I，及记录的最后一条日志的日志序号L；

若全部分片的I与L均相等，则执行新增日志步骤；

若存在I=n且L=n+1的分片，则通过纠删算法使I与L相等，并返回收集每个分片的日志区间的步骤；

若存在I=n，L＜n或L＞n+1的分片，则将该分片的日志区间的L视为无效，并执行新增日志步骤；

新增日志步骤：基于PAXOS共识算法对各个分片进行新增日志写入；

其中，n为任意自然数。

进一步的，通过纠删算法使I与L相等的步骤，包括：

判断I=n且L=n+1的分片的数量是否大于或等于原始数据块个数；

若是，则通过纠删算法对全部分片执行第n+1条日志，使第n+1条日志生效，且使I=n+1；

若否，则删除第n+1条日志，使L=n。

进一步的，通过纠删算法对全部分片执行第n+1条日志的步骤之前，还包括：

若第n+1条日志为写操作，则判断各分片中第n+1条日志中的哈希值是否一致；

若是，则执行通过纠删算法对全部分片执行第n+1条日志的步骤；

若否，则执行删除第n+1条日志的步骤。

进一步的，当新增日志存在日志正文时，所述新增日志步骤具体包括：

当新增日志的日志序号小于或等于生效的最后一条日志的日志序号I时，返回新增日志成功消息；

当新增日志的日志序号等于I+1时，若内存日志无效，则将新增日志写入内存日志；若内存日志有效，则比较新增日志与内存日志的时代号，若新增日志的时代号大于内存日志的时代号，则将新增日志写入内存日志；

当新增日志的日志序号等于I+2时，若内存日志无效，则结束新增日志；若内存日志有效，则先执行并生效内存日志，将内存日志写入生效日志列表和记录的最后一条日志，再将新增日志写入内存日志。