[发明专利]存储系统的数据管理方法、装置、计算设备及存储介质

说明书

技术领域

本发明涉及互联网技术领域，具体涉及一种存储系统的数据管理方法、装置、计算设备及计算机存储介质。

背景技术

随着互联网技术的不断发展，数据存储技术也得到了快速发展，出现了许多基于不同方式的存储系统，例如，HDFS(Hadoop分布式文件系统，Hadoop Distributed File System)和GFS(Google文件系统，Google File System)等。以HDFS为例，在大多数情况下，HDFS的副本系数是3，具体地，将一个副本存放在本地机架节点上，一个副本存放在同一个机架的另一个节点上，最后一个副本放在不同机架的节点上。由于HDFS需要存储3个副本，其数据存储成本较高。另外，当存储系统中的硬盘发生故障时，发生故障的硬盘中的数据很容易丢失，从而很难保证数据可靠性。

因此，现有的存储系统存在着数据存储成本较高、数据可靠性较低的问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的存储系统的数据管理方法、装置、计算设备及计算机存储介质。

根据本发明的一个方面，提供了一种存储系统的数据管理方法，存储系统基于纠删码的数据存储机制运行，并集成有扩展指令集，该方法包括：

获取与存储系统中的硬盘对应的硬盘运行参数；

对硬盘运行参数进行分析，得到硬盘故障预测结果；

依据硬盘故障预测结果，对预测故障的硬盘进行数据迁移；

该方法还包括：

针对存储系统中所存储的数据，计算数据的访问频率；

根据数据的访问频率，确定数据的数据类型，并将数据迁移至与数据类型对应的存储区中。

根据本发明的另一方面，提供了一种存储系统的数据管理装置，存储系统基于纠删码的数据存储机制运行，并集成有扩展指令集，该装置包括：

获取模块，适于获取与存储系统中的硬盘对应的硬盘运行参数；

分析模块，适于对硬盘运行参数进行分析，得到硬盘故障预测结果；

数据迁移模块，适于依据硬盘故障预测结果，对预测故障的硬盘进行数据迁移；

该装置还包括：

计算模块，适于针对存储系统中所存储的数据，计算数据的访问频率；

确定模块，适于根据数据的访问频率，确定数据的数据类型；

数据迁移模块进一步适于：将数据迁移至与数据类型对应的存储区中。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；

存储器用于存放至少一可执行指令，可执行指令使处理器执行上述存储系统的数据管理方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述存储系统的数据管理方法对应的操作。

根据本发明提供的技术方案，对所获取的硬盘运行参数进行分析，得到硬盘故障预测结果，依据硬盘故障预测结果，对预测故障的硬盘进行数据迁移，另外，该方法还针对存储系统中所存储的数据，计算数据的访问频率，根据数据的访问频率，确定数据的数据类型，并将数据迁移至与数据类型对应的存储区中。本发明提供的技术方案利用纠删码的数据存储机制和集成扩展指令集的方式，极大地降低了数据存储成本，有效地降低了CPU消耗；并且能够根据硬盘运行参数进行硬盘故障预测，自动地对预测故障的硬盘进行数据迁移，从而保证了预测故障的硬盘中的数据不丢失，提高了数据可靠性；另外，还能够根据数据的访问频率，实现数据的动态迁移与管理，进一步降低了存储系统的综合的数据存储成本。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的存储系统的数据管理方法的流程示意图；

图2示出了根据本发明另一个实施例的存储系统的数据管理方法的流程示意图；

图3示出了根据本发明一个实施例的存储系统的数据管理装置的结构框图；