[发明专利]一种基于块级别云存储负载均衡优化的方法

说明书

技术领域

本发明涉及计算机存储技术领域，尤其涉及一种基于负载均衡的多卷服务器的块级别云存储优化管理的装置。

背景技术

云存储是云计算概念的一个延伸和发展，它指的是通过集群技术、分布式文件系统、网格技术等，将网络中各种异构的存储设备集合起来协同工作，对外向用户提供安全、可靠、高效的数据存储和数据访问服务。

云存储按其提供的存储层面不同，可以分为两大类：文件级别云存储和块级别云存储。文件级别云存储主要指的是分布式文件系统，它通过网络文件系统访问协议提供文件级的存储访问服务；块级别云存储则是通过小型计算机系统接口或者高速光纤通道，向用户提供原始块级别存储资源。

块级别云存储具有通用性高、灵活性强等特点，因此，它在文件存储、数据库存储、虚拟机文件系统卷等方面有着广泛的应用。但是现有的块级别存储产品也存在一些自身的不足：1.系统中存在存储服务器瓶颈，严重影响了系统整体性能和可靠性；2.没有提供断点续传机制，用户在连接断开后只能重新上传数据，既浪费用户时间，也增加系统资源开销；3.缺乏细化统一管理异构存储设备,不能提供分级存储的策略， 影响系统的I/O吞吐率和性能。

发明内容

针对上述传统的云存储系统中存在的问题，需要提出一种能够减少系统单点故障，提高系统的整体性能和可靠性的装置。需要对其存在的负载均衡局部最优、断点重传和缺乏细化统一管理异构存储设备等问题进行了一定的改进。该方法将遗传算法中的变异部分加入到负载均衡策略中，尽可能地提高该策略搜索全局最优解的准确性。同时设计了一种面向iSCSI的断点续传功能，在重新选择卷服务器进行iSCSI重连时，正在上传数据的用户无需将数据重新上传，系统自动会从断点处继续上传，提高了系统的可靠性。通过利用现有的异构存储环境，提出了一种基于卷生命周期的分级存储管理机制，充分利用不同存储设备的优势和特点，进一步提高系统访问效率。

本发明关注于通过改进传统云存储的负载均衡策略，优化工作包括：对卷服务器负载和性能进行建模，并在此基础上提出了基于机器性能的静态、动态负载均衡策略。静态负载均衡策略通过工作中的卷服务器选择，避免系统进入负载不均衡状态。动态负载均衡策略通过遗传算法决定iSCSI连接的最佳部署方式，使得云存储系统在系统中卷服务器处于负载不均衡状态时，根据遗传算法的模拟结果均衡各卷服务器的负载；通过设计了一种基于iSCSI的断点续传功能，使得用户在连接重置后，仍然能够继续上传自己未传完的数据而不必重新上传，减少了系统的负担，提高了系统的可靠性；同时本装置设计了一种基于卷生命周期的分级存储管理机制，能够根据存储资源的冷热程度，自动将将高访问频率的数据存储在高性能和高成本的存储设备上，不经常访问的数据存储在低性能和低成本的存储设备上，使得存储系统的成本趋于价格低的设备，节省存储成本，提高数据访问效率。

本发明的基本步骤是：

（1）遗传算法动态负载均衡策略

1.将系统选出的两台需要进行负载均衡的卷服务器上的iSCSI连接进行编码，编码成一段0/1字符串，并把它作为初始染色体s。随后对初始染色体s进行k次变异，产生k个后代s₁, s₂, …, s_k作为初始种群。

2.分别计算出种群中所有个体的适应度值和它们的积累概率。为了防止优良基因个体被强制破坏，本发明采用精英保留策略，即每次产生子代后，就与保留的精英个体进行比较，保留适应度值高的个体作为精英。

3.用轮盘赌选择法选择出k个后代，并进行交叉变异等一系列操作。重复上述过程，直至达到限定代数。

4.根据上述步骤所得的编码，对两台卷服务器的iSCSI连接进行重新布置。

（2）iSCSI断点续传

1.当用户将某文件上传到iSCSI挂载的卷上时，先根据文件的源地址和目标地址在日志文件中寻找是否有对应的记录。

2.如果日志中没有记录，则表示该文件为首次上传，那么将会在日志文件中记录该文件的源地址和目标地址，待上传完成后将此记录删除。

3.如果日志文件中有相对应的记录，则表明该文件为续传，那么先根据记录中的目标地址，用相应的函数计算出已上传文件的大小。

4.设置读指针至断点后一字节，将未上传部分读入缓冲区，同时，设置写指针至目标文件末尾，将缓冲区数据写入。

5.文件上传完毕后，删除日志文件中对应记录。

（3）分级存储管理机制