[发明专利]一种数据处理方法及装置

说明书

本发明提供一种数据处理方法及装置，所述方法包括：当检测到针对数据块的写入操作时，将所述数据块映射至待映射的对象object；当所述object中的数据量达到预设容量时，对所述object进行存储处理。应用本发明实施例可以将小数据块I/O进行合并处理，转化为大数据块I/O落盘，减少资源消耗。

技术领域

本发明涉及通信技术领域，尤其涉及一种数据处理方法及装置。

背景技术

Ceph(分布式存储系统)是一种性能优异、高可靠性和高扩展性分布式存储系统，广泛应用于各类大中小型存储环境。

Ceph的数据处理流程如下：

1、用户需要存储或访问的data(数据)通过librbd(Library RADOS(Reliable，Autonomous，Distributed Object Store，可靠、自治、分布式对象存储)Block Device，RADOS块存储接口库)映射为Ceph能够处理的object(对象)；

2、在data被映射为一个或多个object之后，就需要将每个object独立地映射到一个PG(Placement Group，归置组)中；

3、将作为object的逻辑组织单元的PG映射到数据的实际存储单元OSD。

其中，Ceph利用CRUSH的算法，根据PG ID(标识)得到一组OSD，并将该PG中各object均分别保存到该组OSD中。由于该组OSD中的各OSD可能位于不同的主机节点，因此，需要通过网络将数据传输至相应的OSD上。

然而实践发现，当需要处理的data为地址随机，并且大小为4k的数据块时，每发起一次写操作请求都会对应一次I/O(Input/output，输入/输出)处理流程，此过程中会涉及到地址计算、网络传输、数据落盘等。当存在大量此类data需要进行处理，并且每个data对应不同的object，则会触发大量的I/O处理流程，进而消耗大量的CPU(Center ProcessUnit，中央处理单元)资源。

发明内容

本发明提供一种数据处理方法及装置，以解决现有Ceph系统大量地址随机的小数据块会消耗大量的CPU资源的问题。

根据本发明的第一方面，提供一种数据处理方法，应用于分布式对象存储系统的存储节点，该方法包括：

当检测到针对数据块的写入操作时，将所述数据块映射至待映射的对象object；其中，所述待映射的object为所分配的用于进行数据块映射，且未进行存储处理的object；所述object的大小大于所述数据块的大小，且为所述数据块大小的整数倍；

当所述object中的数据量达到预设容量时，对所述object进行存储处理。

根据本发明的第二方面，提供一种数据处理装置，应用于分布式对象存储系统的存储节点，该装置包括：

检测单元，用于检测针对数据块的读写操作；

映射单元，用于当所述检测单元检测到针对数据块的写入操作时，将所述数据块映射至待映射的对象object；其中，所述待映射的object为所分配的用于进行数据块映射，且未进行存储处理的object；所述object的大小大于所述数据块的大小，且为所述数据块大小的整数倍；

处理单元，用于当所述object中的数据量达到预设容量时，对所述object进行存储处理，并将所分配的下一个object确定为待映射的object。

应用本发明公开的技术方案，当检测到针对数据块的写入操作时，将该数据块映射至待映射的object；当该object中的数据量达到预设容量时，对该object进行存储处理，将小数据块进行合并处理，转化为大数据块落盘，减少了资源消耗。

附图说明