[发明专利]数据存储方法、系统、数据节点和计算机可读存储介质

说明书

本公开涉及一种数据存储方法、系统、数据节点和计算机可读存储介质，涉及计算机技术领域。本公开的方法包括：数据节点接收客户端发送的待写入的数据包；数据节点为待写入的数据包分配一个磁盘阵列，磁盘阵列对应于多个磁盘；数据节点根据待写入的数据包的大小，将待写入的数据包划分为多个数据片，并行地将各个数据片分别写入磁盘阵列对应的不同的磁盘中。

技术领域

本公开涉及计算机技术领域，特别涉及一种数据存储方法、系统、数据节点和计算机可读存储介质。

背景技术

分布式存储系统，例如，HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)等，将数据分布式地存储在多个数据节点上。目前，数据节点的常见存储方式为：将多个磁盘分别格式化为本地文件系统并挂载到多个本地目录，数据节点将这些本地目录作为数据目录，数据节点选择一个数据目录将数据块存储为一个文件。

客户端(Client)在读写数据块时以数据包(Packet)为单位串行传输，数据节点顺序地读写数据块对应的文件，也就是顺序的读写磁盘。

发明内容

发明人发现：目前的数据读写方式，在不考虑操作系统缓存的情况下，客户端写入数据块的速率不可能超越单个磁盘顺序读写的性能，写入速率较低。

本公开所要解决的一个技术问题是：如何提高数据的写入效率。

根据本公开的一些实施例，提供的一种数据存储方法，包括：数据节点接收客户端发送的待写入的数据包；数据节点为待写入的数据包分配一个磁盘阵列，磁盘阵列对应于多个磁盘；数据节点根据待写入的数据包的大小，将待写入的数据包划分为多个数据片，并行地将各个数据片分别写入磁盘阵列对应的不同的磁盘中。

在一些实施例中，磁盘阵列被划分为多个条带，每个条带中包含多个存储片，一个条带中不同的存储片分别属于不同的磁盘。

在一些实施例中，数据节点根据待写入的数据包的大小，将待写入的数据包划分为多个数据片包括：数据节点根据待写入的数据包的大小为待写入的数据包分配磁盘阵列中存储空间；数据节点根据该存储空间对应的各个存储片的剩余空间，将待写入的数据包划分为多个数据片。

在一些实施例中，存储片的容量小于或等于一个磁盘单次读写的数据量。

在一些实施例中，并行地将各个数据片分别写入磁盘阵列中不同磁盘分区包括：数据节点根据各个磁盘阵列的数据目录，向磁盘阵列发送数据片，以便并行地将各个数据片分别写入磁盘阵列对应的不同磁盘中；其中，磁盘阵列的数据目录是将磁盘阵列格式化为本地文件系统后挂载到本地目录后生成的。

在一些实施例中，该方法还包括：数据节点接收客户端针对待读取的数据包发送的数据读取请求；数据节点根据数据目录查找待读取的数据块存储的磁盘阵列，根据磁盘阵列对应的文件系统，查找待读取的数据包对应的至少一个数据片存储的磁盘；数据节点从各个存储的磁盘中并行读取待读取的数据包对应的各个数据片。

在一些实施例中，该方法还包括：客户端接收管理节点发送的块组信息，块组中信息包括多个数据节点的地址信息；客户端将待写入的数据划分为数据单元，并根据一组预设数量的数据单元计算对应的校验单元；客户端根据各个数据节点的地址信息将数据单元和校验单元的数据分别以待写入的数据包的形式发送至各个数据节点。

根据本公开的另一些实施例，提供的一种数据节点，包括：数据包接收模块，用于接收客户端发送的待写入的数据包；磁盘阵列确定模块，用于为待写入的数据包分配一个磁盘阵列，磁盘阵列对应于多个磁盘；数据写入模块，用于根据待写入的数据包的大小，将待写入的数据包划分为多个数据片，并行地将各个数据片分别写入磁盘阵列对应的不同的磁盘中。

在一些实施例中，磁盘阵列被划分为多个条带，每个条带中包含多个存储片，一个条带中不同的存储片分别属于不同的磁盘。