[发明专利]服务器集群的数据一致性扫描方法、系统、设备及介质

说明书

本发明公开了一种服务器集群的数据一致性扫描方法、系统、设备及介质，方法包括：构建服务器集群的存储池的时间段属性，并基于时间段属性设置存储池的数据一致性扫描时间段，其中，存储池包含多个放置组；按照预设时间周期判断放置组是否触发数据一致性扫描的时间间隔条件；若是放置组触发数据一致性扫描的时间间隔条件，则获取放置组所在存储池的时间段属性，并基于时间段属性设置的数据一致性扫描时间段判断是否对放置组进行数据一致性扫描。通过本发明的方案，在对存储池进行数据一致性扫描时，减少了对存储池资源的占用，并且通过存储池的时间段属性实现了数据一致性扫描时间段的灵活设置。

技术领域

本发明涉及服务器技术领域，尤其涉及一种服务器集群的数据一致性扫描方法、系统、设备及介质。

背景技术

OSD(Object-based Storage Device，对象存储设备)的主要功能是存储数据、复制数据、平衡数据、恢复数据等。一般情况下一块硬盘对应一个OSD，由OSD来对硬盘存储进行管理。服务器集群为了数据的安全性，根据存储池设置的数据冗余与副本策略，一个PG(Placement Group，放置组，用于放置对象的一个载体)存放的数据放置在多个OSD上，为了保证同一个数据对象在副本上都是相同的，集群副本就会进行数据扫描的操作，用于检测副本间数据的一致性。

目前scrub(数据一致性扫描检查)时间段的设置是集群级的，OSD通过定时任务来获取集群设置的scrub时间段、时间间隔等控制条件是否满足，如果满足条件，就进行scrub或deep-scrub(数据一致性深度扫描检查)，其中，数据一致性扫描检查只扫描元数据，数据一致性深度扫描检查检测数据对象的数据内容。

但是这种控制方式不够精确。首先，对于不同存储池的OSD存放数据要求是不完全一致的，比如有的存储池放的数据是冷数据，可能不需要频繁的扫描；有的存储池OSD放的是热数据，需要较为频繁的进行scrub来保证一致性。根据前端业务的压力，有的存储池放的热数据需要在系统业务不繁忙的时候来进行scrub；有的存储池放的冷数据可以随时进行扫描。其次，目前的控制方式是集群级，会导致所有的OSD一同满足条件来进行scrub，会占用集群大量的资源，可能会对前端业务的读写造成压力。

发明内容

有鉴于此，本发明提出了一种服务器集群的数据一致性扫描方法、系统、设备及介质，可以根据实际情况，来控制集群存储池进行数据一致性扫描的时间，不会占用太多存储池资源，减轻了集群存储池进行扫描时，对前端读写业务造成的压力。

基于上述目的，本发明实施例的一方面提供了一种服务器集群的数据一致性扫描方法，具体包括如下步骤：

构建服务器集群的存储池的时间段属性，并基于所述时间段属性设置存储池的数据一致性扫描时间段，其中，所述存储池包含多个放置组；

按照预设时间周期判断放置组是否触发数据一致性扫描的时间间隔条件；

若是所述放置组触发数据一致性扫描的时间间隔条件，则获取放置组所在存储池的时间段属性，并基于所述时间段属性设置的数据一致性扫描时间段判断是否对所述放置组进行数据一致性扫描。

在一些实施方式中，基于所述时间段属性设置存储池的数据一致性扫描时间段包括：

实时监听所述存储池的读写业务情况；

在所述时间段属性，通过监听到的所述读写业务情况设置存储池的数据一致性扫描时间段。

在一些实施方式中，通过监听到的所述读写业务情况设置存储池的数据一致性扫描时间段包括：

获取监听到预设历史时间内的读写业务数据量；

计算所述预设历史时间内的读写业务数据量的平均值；

将监听到的所述存储池的读写业务数据量小于所述平均值的时间段设置为所述存储池的数据一致性扫描时间段。