[发明专利]一种基于超融合存储系统的数据分层方法、终端及系统

说明书

本发明公开了一种基于超融合存储系统的数据分层方法、终端及系统，涉及数据处理技术领域，主要目的在于基于用户的访问操作对超融合存储系统中各个节点的数据进行分层存储，以提高用户的数据访问效率。本发明主要的技术方案为：从超融合存储系统中的多个第一类型节点分别获取日志统计信息，所述日志统计信息中记录有数据的访问频率；根据所述日志统计信息确定所述数据的存储类型，所述存储类型包括冷数据和热数据；根据所述数据的存储类型调整所述数据的存储位置。本发明主要用于对存储数据的迁移存储。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于超融合存储系统的数据分层方法、终端及系统。

背景技术

超融合存储系统是一种面向对象的分布式存储系统。超融合是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术，而且还包括云管理软件，数据重构，多副本，快照技术等元素，而多节点可以通过网络聚合起来，实现模块化的无缝横向扩展，形成统一的资源池。而在超融合场景下，数据的访问性能显得尤为重要，能快速响应用户的数据请求是衡量超融合存储的一个重要指标，在这样的指标面前，存储设备的性能就是决定用户数据请求速度的重要因素，相较于传统的机械硬盘(Hard Disk Drive，HDD)，固态硬盘(Solid State Drives，SSD)具有很好的弹性，并提供对数据的快速访问，但其拥有写入次数限制。而超融合存储系统结合两者的优缺点，采取SSD+HDD的混合存储方式，将所有物理服务器上的硬盘组成一个存储资源池。其中所有机械硬盘组成存储容量层，SSD闪存盘组成存储性能层，两者一起构建了分层持久存储。针对这种分层环境，就需要将SSD和HDD区分对待，将热数据，即访问频度高的数据，提升到SSD存储设备上，将冷数据，即访问频度低的数据，沉至HDD存储设备上，从而有效的提高用户的数据访问效率，提高超融合产品的性能。

在现有计算机或存储系统中常对数据根据访问频率进行分类，以区分冷数据和热数据，以便用户对数据进行处理。其中，热数据需要在高性能、高度可用、高要求的环境下即时存取；而冷数据需要归档并长期保存的数据。对于计算数据的访问频率往往需要在用户对数据进行访问操作时进行记录处理，以便后续的统计分析，而对于超融合存储系统，存在有大量的并发数据访问操作，要对这些数据访问操作进行实时的记录处理将会严重影响用户的数据访问效率，同时，对于超融合存储系统中的冷热数据分层，还需要根据用户所在的节点位置，将用户需要的热数据进行高效的迁移，即将热数据迁移至用户所在节点或相近节点中，以提高用户的数据访问效率。然而目前尚无针对超融合存储系统所需的冷热数据分层的解决方案。

发明内容

有鉴于此，本发明提供一种基于超融合存储系统的数据分层方法、终端及系统，主要目的在于基于用户的访问操作对超融合存储系统中各个节点的数据进行分层存储，以提高用户的数据访问效率。

为达到上述目的，本发明主要提供如下技术方案：

第一方面，本发明提供了一种基于超融合存储系统的数据分层方法，该方法包括：

从超融合存储系统中的多个第一类型节点分别获取日志统计信息，所述日志统计信息中记录有数据的访问频率；

根据所述日志统计信息确定所述数据的存储类型，所述存储类型包括冷数据和热数据；

根据所述数据的存储类型调整所述数据的存储位置。

优选的，所述方法还包括：

监控所述第一类型节点中的第一节点是否存在数据访问操作；

若存在，则将所述数据访问操作对应的数据访问日志异步记录在所述第一节点中，所述数据访问日志中记录有所述第一节点的节点信息、访问类型以及数据存储位置信息。

优选的，所述从超融合存储系统中的多个第一类型节点分别获取日志统计信息包括：

由所述第一节点获取预置时间间隔内的本地记录的数据访问日志；