[发明专利]一种提高云存储磁盘空间使用效率的方法

摘要

本发明提供一种提高云存储磁盘空间使用效率的方法，系统包括存储节点和存储控制节点，其中，存储节点负责存放文件，存储控制节点则是负责监控存储节点间容量及负载的均衡，当客户端通过以太网将数据写入存储节点设备时候，数据会先经过FPGA阵列，在FPGA阵列中会将数据压缩后，传送到后面的存储节点设备的磁盘阵列中保存，压缩后的数据量会较压缩前数据明显变小，这样在存储节点设备磁盘阵列中所占用空间自然就变小了，当客户端需要读取存储设备磁盘阵列中的数据时，FPGA阵列会先将所需数据解压缩然后通过网络发送给客户端。

主权项

一种提高云存储磁盘空间使用效率的方法, 其特征在于系统包括存储节点和存储控制节点，其中，存储节点负责存放文件，存储控制节点则是负责监控存储节点间容量及负载的均衡，当客户端通过以太网将数据写入存储节点设备时候，数据会先经过FPGA阵列，在FPGA阵列中会将数据压缩后，传送到后面的存储节点设备的磁盘阵列中保存，压缩后的数据量会较压缩前数据明显变小，这样在存储节点设备磁盘阵列中所占用空间自然就变小了，当客户端需要读取存储设备磁盘阵列中的数据时，FPGA阵列会先将所需数据解压缩然后通过网络发送给客户端；采用在数据用户与存储设备节点网络之间通过FPGA阵列设备,对发往存储节点的数据文件进行压缩，对从存储设备节点读出的数据在FPGA阵列设备中进行解压缩，而在FPGA阵列中实现了千兆及万兆以太网接口，确保数据传输在FPGA阵列设备中没有存储瓶颈；压缩与解压都用FPGA硬件来实现，并不占用存储设备节点CPU的资源，这样通过压缩后的数据量明显会变小，在存储节点中所占用磁盘空间自然会减少；数据在FPGA阵列设备中采用Lempel‑Ziv（LZ）标准压缩和解压技术，以压缩格式写入的每个文件完全保留了原始数据的完整性，这种“无损”压缩方法确保了数据完整性不受到危及。