[发明专利]一种统一管理的、基于策略的低功耗归档分析系统

说明书

本发明特别涉及一种统一管理的、基于策略的低功耗归档分析系统及方法，该统一管理的、基于策略的低功耗归档分析系统及方法通过将整个离线资源池化，提供统一的命名空间，实现存储资源集中式离线管理；通过在归档分析系统中依据策略智能设置数据冷热，在虚拟层面进行整个集群的功耗控制，并结合上下电或MAID等节电技术，实现系统的智能化供电，从而一方面保证有读请求到来时可提供及时的读取数据能力，另一方面保证整个集群的低功耗运行。本发明方法简单有效，不仅很好地解决了大规模离线存储资源管理的问题，还通过调度节电技术解决了系统整体最优的问题。

技术领域

本发明属于计算机存储领域，特别涉及服务器集群和元数据集群管理技术，具体涉及一种低功耗归档分析系统。适用于归档和对集群功耗有特殊要求的场景。

背景技术

在互联网、物联网、云计算和大数据等快速发展的大环境下，企业正面临着海量数据的归档和分析时的能耗问题。由于在很多场景下需要对历史归档数据做在线或离线分析，因此传统的磁带归档方式无法满足性能的要求。使用磁盘形成大规模集群的方式可以一定程度上解决归档和分析的访问性能问题，但是功耗问题相对于磁带方案成为了一个严重的问题，目前已有可控制设备上下电和控制磁盘是否工作的节电技术(如，MAID等)，控制设备上下电技术可通过硬件控制物理设备开机和关机，可实现远程控制和无人值守，方便对物理设备进行节电控制，但控制范围为单一物理节点，并不能进行整个集群的全局节电管理；MAID技术可控制磁盘的工作时间，使磁盘只有在需要的时候才上电工作，其他时间可处于断电状态，达到省电的目的，但此技术只能对磁盘进行控制，同样不能对整个集群进行全局节电控制。当离线存储资源规模达到PB或者EB之后，如何管理海量离线资源，如何控制节电技术以达到满足正常访问性能的前提下系统整体功耗最低就成了一个问题。因此我们提出了一种统一管理的、基于策略智能适应的低功耗归档系统及方法，来管理海量离线存储资源并在满足数据分析性能的前提下尽可能降低归档系统的整体功耗。传统归档系统一般采用磁带来实现，正常状态下所有的磁带都放置在磁带库的槽位中，需要某盘磁带时才将它放在磁带机中，然后进行数据读写。而在大部分时间，大多数磁带是处在非工作状态的。这种方式虽然节能，但无法快速响应应用的请求。

发明内容

本发明要解决的技术问题是：如何高效管理大规模离线存储资源和如何高效调度节电技术以达到归档分析系统整体最优。

本发明针对上述问题，提出一种统一管理的、基于策略的低功耗归档分析系统，包含如下组成部分：系统调度模块、资源管理模块、节电模块、策略管理模块、元数据管理模块、离线资源池、物理存储设备集群；物理存储设备集群包含若干物理设备；系统调度模块负责接收和处理上层发送来的请求并负责调度节电模块；物理设备资源管理模块实现对物理存储设备集群的物理存储资源统一管理，将所有物理存储资源虚拟化为一个离线资源池；离线资源池被划分为n个资源子池，n为大于0的整数，每个资源子池对应不同的物理存储资源，由资源管理模块对物理存储资源进行动态划分和管理；节电模块调用物理设备的上下电功能或者MAID功能实现物理存储资源的节电控制；策略管理模块中包含m个节电策略，m为大于0的整数，系统根据应用特征智能选择节电策略；元数据管理模块管理元数据服务器集群，实现元数据与数据分离，提高系统整体归档和回迁性能。具体的，系统对物理存储设备集群采用全局统一命名空间，每个所述资源子池可独立的支持归档和回迁任务。

具体的，物理存储设备集群在离线资源池层实现节电控制，而非直接对物理存储资源进行节电控制，做到节电控制的全局化和虚拟化，支持在虚拟化层根据应用特征智能变更节电策略，实现全局性能和能耗的最优化配置。具体的，节电策略为基于数据冷热的虚拟层能耗控制，策略将要访问的数据块设置为热，并调用节电模块将其所在的资源子池中的物理存储设备设置为工作状态，不访问或者访问过的资源子池中的物理存储设备设置为非工作状态，达到在虚拟存储层进行系统整体节电控制。

具体的，归档过程的节电控制，当归档请求发起时，先由系统调度模块捕获该请求，通过查询元数据服务器确定该请求的写入位置，假设写入位置位于资源子池1