[发明专利]分布式文件系统中的数据写入方法和装置

说明书

技术领域

本申请涉及数据处理技术领域，特别是涉及一种分布式文件系统中的数据写入方法和一种分布式文件系统中的数据写入装置。

背景技术

大型在线分布式存储系统中，单台服务器内有很多块磁盘，不同磁盘可能不同，且在一台服务器内部也可能出现异构的情况，即两种不同容量的磁盘混合。分布式存储系统解决数据存储的问题，当有数据到来时如何选择一块磁盘写入数据是一个需要考虑的问题。

传统的分布式文件系统在选择磁盘时采用一致性哈希算法。该方法是事先根据数据分区做哈希来选定磁盘，是一种固定的选盘策略。哈希算法本身保证了平衡性，通常情况下不会造成热点，但是在异常情况，当同一数据分区有集中的数据，被选中的磁盘往往不能躲开大量的写入，可能会写满磁盘，造成写入失败，同时密集的流量会产生热点访问，造成写入时间变长。

因此，目前需要本领域技术人员迫切解决的一个技术问题就是：如何可以避免磁盘写满，且不会造成热点访问。

发明内容

本申请实施例的发明目的在于提供一种分布式文件系统中的数据写入方法，可以避免磁盘写满，且不会造成热点访问。

相应的，本申请实施例还提供了一种分布式文件系统中的数据写入装置，用以保证上述方法的实现及应用。

为了解决上述问题，本申请公开了一种分布式文件系统中的数据写入方法，包括：

在元数据服务器所管理的多个副本服务器中，根据所述多个副本服务器的剩余容量选择至少一个目标副本服务器；

在所述目标副本服务器中，根据所述目标副本服务器所管理的磁盘的剩 余容量及磁盘负载选择写入磁盘；

通过所述目标副本服务器将写入数据存储在所述写入磁盘中。

优选地，在所述目标副本服务器中，根据所述目标副本服务器所管理的磁盘的剩余容量及磁盘负载选择写入磁盘的步骤包括：

根据所述目标副本服务器所管理的磁盘的剩余容量及磁盘负载计算各磁盘被选中的概率；

根据所述各磁盘被选中的概率及预设条件确定所述写入磁盘。

优选地，所述根据所述目标副本服务器所管理的磁盘的剩余容量及磁盘负载计算各磁盘被选中的概率，包括：

根据所述磁盘的剩余容量和总容量之间的比例及其权重，以及所述磁盘的负载及其权重，计算所述磁盘的得分；

对各所述磁盘的得分进行归一化，获得各所述磁盘被选中的概率。

优选地，所述根据所述磁盘的剩余容量和总容量之间的比例及其权重，以及所述磁盘的负载及其权重，计算所述磁盘的得分，包括：

分别计算所述磁盘的剩余容量和总容量之间的比例的得分，以及所述磁盘的负载的得分，其中，所述比例的得分与所述比例之间以及所述负载的得分与所述负载之间均满足单调递增函数关系；

根据所述比例的得分及所述比例的权重，以及所述负载的得分及所述负载的权重，计算所述磁盘的得分。

优选地，所述磁盘的负载为所述磁盘IO队列的长度。

优选地，所述根据所述各磁盘被选中的概率及预设条件确定所述写入磁盘，包括：

根据所述各磁盘被选中的概率计算所述各磁盘的累加概率值；

对所述各磁盘的累加概率值进行二分查找，将查找到的满足预设条件的磁盘的累加概率值对应的磁盘作为所述写入磁盘。

本申请还公开了一种分布式文件系统中的数据写入装置，包括：

第一选择单元，被配置为在元数据服务器所管理的多个副本服务器中，根据所述多个副本服务器的剩余容量选择至少一个目标副本服务器；

第二选择单元，被配置为在所述目标副本服务器中，根据所述目标副本服务器所管理的磁盘的剩余容量及磁盘负载选择写入磁盘；

存储单元，被配置为通过所述目标副本服务器将写入数据存储在所述写入磁盘中。

优选地，所述第二选择单元包括：

概率计算子单元，被配置为根据所述目标副本服务器所管理的磁盘的剩余容量及磁盘负载计算各磁盘被选中的概率；

确定子单元，被配置为根据所述各磁盘被选中的概率及预设条件确定所述写入磁盘。

优选地，所述概率计算子单元包括：

得分计算子单元，被配置为根据所述磁盘的剩余容量和总容量之间的比例及其权重，以及所述磁盘的负载及其权重，计算所述磁盘的得分；

概率获得子单元，被配置为对各所述磁盘的得分进行归一化，获得各所述磁盘被选中的概率。

优选地，所述得分计算子单元包括：