[发明专利]基于微处理器系统调度实现冷数据分布式存储系统

说明书

本发明涉及一种基于微处理器系统调度实现冷数据分布式存储系统。包括硬件系统和软件系统，软件系统包括服务层、调度层和存储层。所述的服务层是实现一个高可用性的基于RESTFUL的对象存储接口，其包括多个RESTFUL对象存储服务节点；所述的存储层由微处理系统和机械硬盘形成的存储节点构成，每个存储节点都有自己的唯一标识uuid和唯一的IP地址，节点在不提供服务的时候能够进入休眠状态，同时在需要读写时又能快速唤醒；所述的调度层实现响应服务层发送来的请求，并对后端的存储层进行调度。本发明能有效满足当前历史数据的容量伸缩和成本低廉的需求。

技术领域

本发明涉及一种基于微处理器系统调度实现冷数据分布式存储系统。

背景技术

大数据现在已经无处不在，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。各行各业的企业或者部门都希望利用大数据挖掘自身更大的价值，那么利用数据的第一步就是存储数据，因此伴随着大数据的诞生也让存储进入了一个高速发展期。

对于未来存储趋势，Gartner认为，在企业数字化和全球化趋势下，数据的快速增长使得企业IT面临新的挑战。受此影响，分布式存储成为海量非结构化数据的首选平台。用户非结构化数据以同比30％～60％的势头增长，企业需要具备扩展性、灵活性、自动化和编程访问、自我修复能力的云端基础设施。从部署的数量和容量来看，基于分布式文件系统和对象存储的存储基础设施系统比以往任何时候增长得更快。

分布式存储最早是由谷歌提出的，其目的是通过廉价的服务器来提供使用与大规模，高并发场景下的文件访问问题。之后，亚马逊公司开发向公众提供了高可用性的云存储服务(主要是以对象接口提供)。随后，各大存储厂商也提供了分布式存储和对象存储的产品，也有很多运营商加入到提供云存储服务的行列里面来。

分布式存储和对象存储最大的优点就是：1、可以实现去中心化，用一致性hash算法，让集群中每一个节点都是可以对外提供服务的，提高了存储的可用性，避免了单点故障。2、冗余策略可以自由选择，从三副本到纠删码，可以提供不同冗余度的数据保护机制。3、可以动态横向扩展，不光可以扩展容量，还可以扩展并发访问的性能，让存储建设节约很多前期成本。

分布式存储和对象存储同时也存在着弱点，主要就是由于所有存储节点都是由PC服务器组成，因此，节点的耗电量就成了所有云存储商或者大型对象存储用户面临的一个重要问题，而且不光是节点本身耗电量，由此带来的散热也需要制冷的耗电能耗来降温。

当大数据应用越来越广泛，那么很多的历史数据有着归档和低频使用保存的需求。因为在大数据时代，往往很多历史数据作为将来分析可能会用到的数据需要被保存，但是由于他们被使用的频率相对很低，而且容量又在急剧上升，所以需要一个比较低廉和容易扩展的方式进行保存。

上述的分布式存储和对象存储在硬件形式上已经满足了容易扩展和建设成本低廉的需求，但后期的电量使用会是一个巨大的负担。根据IDC的统计，存储的硬件成本以五年折旧计算，只占总投入成本的百分之二十左右，而其他成本都是能耗成本。

发明内容

本发明针对现有技术存在的的缺点，提供一种基于微处理器系统调度实现冷数据分布式存储系统，能有效满足当前历史数据的容量伸缩和成本低廉的需求。

为此，本发明采取如下的技术方案：基于微处理器系统调度实现冷数据分布式存储系统，其特征在于包括硬件系统和软件系统，硬件系统包括微处理系统，系统支持接入多个硬盘，并支持硬盘休眠和系统深度休眠，同时支持通过以太网口进行唤醒系统，软件系统包括服务层、调度层和存储层。

所述的服务层是实现一个高可用性的基于RESTFUL的对象存储接口，其包括多个RESTFUL对象存储服务节点，当被选中的服务节点开始响应用户的RESTFUL接口请求时，首先获取操作方法，是写或读操作，其次获取存储对象的名称和此次操作的具有唯一性的用户名，最后缓存写操作内容或者请求读内容；