[发明专利]一种混合应用云服务支撑平台的自动分级存储方法

说明书

技术领域

本发明涉及一种混合应用云服务支撑平台的自动分级存储方法。

背景技术

随着云计算技术的不断发展，越来越多的信息服务构建于云平台之上。目前的信息服务从应用模式来看，通常可以分为两大类：

①针对上层应用多样化需求面向弹性资源的需求密集型信息服务，需要系统根据业务需求的动态变化弹性提供底层资源；

②面向数据分析的计算密集型信息服务，通过高度并行化的分布式计算模式来实现分析处理的高效执行。

两类应用模式涵盖了大量相互独立、需求各异的实际应用，分别对底层软硬件资源、网络环境产生了多样化的需求：一方面计算密集型应用由于其计算模式相对固定，对并行度、网络延迟要求较高；另一方面需求密集型应用往往对系统平台的软硬件配置具有更加灵活的需求。实际生产环境中，两类需求往往同时存在，共同构成了对未来信息服务的混合应用需求。一方面，单一应用内部存在多种不同需求的应用模式，产生应用内的混合应用需求；另一方面，多应用并行环境中，各应用分属不同类型的应用模式，产生应用间的混合应用需求。

混合应用在各个行业都广泛存在，而混合应用之间的数据勾稽关联度也多种多样，相应的数据存储要求分类复杂，需要综合性适应处理，一种单一的存储模式不能适应应用需求的发展，此类情况在税务行业尤其普遍，提出面向混合应用的云服务平台自动分级存储方法，是为了以此解决税务数据资源分配不合理、应用模式多用途调度以及越来越多的数据分析需求等诸多问题。

发明内容

本发明要解决技术问题是：克服现有技术的上述不足，提供一种混合应用云服务支撑平台的自动分级存储方法，实现依据数据的重要性、访问频率、保留时间、容量、性能指标等要素将数据分门别类的存储于不同的设备之上。

为解决以上问题，并保证高性能云服务支撑平台系统运行效率是资源优化的重要前提，为此需从高性能计算以及云计算两方面入手，结合各自运行特征研究相应的资源优化策略，以提高底层资源利用率，同时保证系统执行性能。

混合应用云服务支撑平台的自动分级存储系统架构如图1所示。

首先基于模糊软聚类算法设计一个能够对底层各类存储介质进行自动分级的管理模块FCM，并在此基础上实现了对混合应用模式下海量数据预放置的模块 IDP和自适应迁移模块ADM，能够实现混合应用海量数据存储系统数据分布的均衡性和自适应特性，并能为上层高性能云服务应用提供快速的数据定位服务。

基于上述分级存储系统，对FCM模块采用软聚类算法对底层混合的存储介质进行分级，形成一个虚拟的g级存储域，数据通过预放置(Initial Data Placement，IDP)模块，结合元数据服务(Mete Data Service，MDS)信息和一致Hash算法(Cons istent Hash Algorithm，CHA)被均匀地分布这g级存储区域的介质中。

附图说明

图1为混合应用云服务支撑平台的自动分级存储系统架构图。

具体实施方式

针对高性能应用，基于历史任务排队等待时间研究历史任务等待时间在置信区间里的分布，采用变化点检测方法对时间序列中固定部分进行考量，进而实现对任务等待时间上限的有效预测。假设X是一个随机变量，Xq为q分位数，则有Xi大于Xq的概率为1？q。我们对各类相关的混合应用执行日志进行分析，将任务等待时间作为随机变量X，且任务等待时间可视为一个概率为q的独立伯努利试验的序列，即一个任务的等待时间不大于Xq的概率为q。若有n个任务到达，则至少k个任务等待时间超过Xq的概率可以表示为：

根据上式求得令Pk大于指定的置信水平C的最小k值，则在n个已排序的任务等到时间数据集中，第k个数值为Xq提供了置信水平上限C，即在n个已排序的任务等到时间数据集中，第k个数值大于或等于Xq。由此，可以预测得到高性能计算任务的等待时间。基于上述任务等待时间，以满足任务QoS要求为前提，提出任务队列的动态调整策略，将预测等待时间大于给定阈值的任务移入等待时间较短的队列，从而减少任务排队等待时间，进而达到计算资源负载均衡，提升资源利用率。

针对云计算应用，首先对云环境虚拟机资源进行监控采集状态数据，包括物理机的CPU，memory和storage利用率等数据。在系统中，多台虚拟机是运行在一台物理机上的，每台虚拟机占用一部分资源，则一台物理机负载情况可由下式计算得到：