[发明专利]一种用于数据存储的方法与设备有效
| 申请号: | 201310751664.7 | 申请日: | 2013-12-31 |
| 公开(公告)号: | CN103744620B | 公开(公告)日: | 2017-11-07 |
| 发明(设计)人: | 覃安;胡殿明;刘俊;杨文君;谭待 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
| 主分类号: | G06F3/06 | 分类号: | G06F3/06 |
| 代理公司: | 北京汉昊知识产权代理事务所(普通合伙)11370 | 代理人: | 罗朋,周建华 |
| 地址: | 100085 北京*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 用于 数据 存储 方法 设备 | ||
技术领域
本发明涉及数据存储领域,尤其涉及一种用于数据存储的技术。
背景技术
存储系统的介质随着采购规格、供应批次、运行环境、使用模式,服务寿命等诸多因素影响,对上层系统呈现出不同的性能、可靠性等服务质量上的差异。这些真实存在的异构性导致存储系统在将数据布局在存储介质上时呈现出差异明显的服务质量。特别是采用多副本方式保证可靠性的系统,副本放置方式不同会影响数据的读取速度以及可靠性。
当前,现有方法中对于存储系统的可靠性设计,都是以假设底层存储介质的服务质量(Quality of Service,QoS)相同为前提进行的,其中,主要包括两种方法:
方法一:使用多个冗余副本来确保数据的可靠性。现有研究以及工程方案主要研究在同质存储介质环境下,如何布局和存放数据到多个副本中,从而尽可能小的降低数据丢失或者损坏的概率。同时数据副本的切换对于数据读取而言,代价比较低,工程实现也简单。
这种使用多个冗余副本来确保数据可靠性的方法,利用了副本在系统逻辑层面上无区别的假设,然而这种假设无法在真实生成环境下得到保证。逻辑上,作为相互映像的副本应该在读取性能以及损坏时间上应当没有无区别,但由于实际环境下副本存储介质的不同,使得副本所对应的QoS不同,进而将数据布局到这类副本中会得到不同的访问延时和持久性。
方法二:通过设计有效的编码机制来维护数据的完整性和正确性。这种方法通过将数据切成数据块,然后计算得到校验块,利用验证块在数据块损坏的时候进行恢复。相比于方法一,数据编码往往不需要两倍以上的数据存储量,因此能有效地降低数据空间成本,在可靠性保证上也达到甚至超过方法一的同等效果。
然而,这种通过编码机制来保证数据可靠性的方法,会因为数据块与校验块所处的介质QoS不同而诱发繁重的数据恢复,降低系统的读取性能。这是由于数据读取通常情况下不需要操作校验块,只有当数据损坏情况才需要读取校验块并调度计算资源恢复损坏的数据块。因此,数据块的访问频度远高于校验块。如果存放数据块的介质质量较校验块的QoS差,则数据块的损坏概率会大于校验块,从而增加繁重的数据恢复计算代价,而且工程实现也比较复杂。
发明内容
本发明的目的是提供一种用于数据存储的方法与设备。
根据本发明的一个方面,提供了一种用于数据存储的方法,其中,该方法包括:
根据数据存储请求确定对应的一个或多个候选存储方案信息,其中,所述候选存储方案信息满足所述数据存储请求所对应的存储服务要求;
根据所述候选存储方案信息所对应的性能指标信息从所述一个或多个候选存储方案信息中确定对应的优选存储方案信息;
根据所述优选存储方案信息处理所述数据存储请求。
根据本发明的另一方面,还提供了一种用于数据存储的处理设备,其中,该设备包括:
用于根据数据存储请求确定对应的一个或多个候选存储方案信息的装置,其中,所述候选存储方案信息满足所述数据存储请求所对应的存储服务要求;
用于根据所述候选存储方案信息所对应的性能指标信息从所述一个或多个候选存储方案信息中确定对应的优选存储方案信息的装置;
用于根据所述优选存储方案信息处理所述数据存储请求的装置。
与现有技术相比,本发明通过根据数据存储请求确定对应的一个或多个候选存储方案信息,并根据所述候选存储方案信息所对应的性能指标信息从所述一个或多个候选存储方案信息中确定对应的优选存储方案信息,进而根据所述优选存储方案信息处理所述数据存储请求,其中,所述性能指标信息包括所述候选存储方案信息所对应的可靠性信息和/或存储性能信息。从而,本发明根据硬件介质的服务质量的不同,将数据根据重要程度有选择的分配到合适的存储介质上,降低了数据损坏和丢失的概率;同时,由于介质的服务质量是根据实际情况实时变化的,利用本发明能够比较早地发现潜在的故障,帮助系统调度器更有效地避免即将发生的硬件故障所带来的损坏;从而实现了对存储介质服务质量感知的数据分级布局技术,并消除了存储介质中存在的服务质量不一致对存储系统所带来的存储性能和可靠性上的影响,并降低硬件购置成本,实现了精细化的存储成本控制策略。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310751664.7/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





