[发明专利]用于顺序传输优化存储装置的卷级冗余编码技术

说明书

本文描述和提出的技术包括用于使用冗余编码技术将数据档案的原始数据在数据存储系统上进行存储、索引和检索的系统和方法。例如，诸如纠删码的冗余码可应用于档案(诸如从计算资源服务提供商的客户接收到的档案)，以便允许存储在最少的卷上可用的单个档案的原始数据，诸如数据存储系统的那些数据，同时保留可用性、耐用性以及由应用所述冗余码而赋予的其他保证。可实现稀疏索引技术，以便一旦存储就减少用于定位所述原始数据的索引的占用空间。

相关申请的交叉引用

本申请要求2014年12月19日提交的题为“用于顺序传输优化存储装置的卷级冗余编码技术(VOLUME-LEVEL REDUNDANCY CODING TECHNIQUES FOR SEQUENTIAL TRANSFEROPTIMIZEDSTORAGE DEVICES)”的共同未决的美国专利申请号14/578,130的优先权，所述专利申请的全部内容以引用的方式并入本文。

背景技术

网络计算和存储的使用近年来一直在增长。用于网络计算和存储的资源通常由利用计算机、服务器和存储驱动器的大规模网络的计算资源提供商来提供，以使客户端(包括内容提供商、在线商家等)能够托管和执行各种应用和web服务。传统上使用现场服务器和存储设备来托管其网站并将内容存储并流式传输给其客户的内容提供商和在线商家通常放弃现场托管和存储，并且转而使用计算资源提供商的资源。网络计算的使用允许内容提供商和在线商家等有效地且自适应地满足他们的计算需求，由此由内容提供商和在线商家所使用的计算和存储资源被根据需要并且根据他们的需要而添加或从由计算资源提供商所提供的大型池中移除。

网络计算和存储的增长以及依赖于网络计算和存储的实体数量的伴随的增加已增加优化网络计算和存储系统上的数据性能和完整性的重要性。例如，数据档案系统和服务可使用各种类型的纠错和容错方案，诸如实现冗余编码和数据分片。此外，相对于其他数据存储装置，通过使用与随机存取存储装置相比在顺序存储上快得多的数据存储装置或介质，可减轻持续增加的数据量的容量和成本。

附图说明

将参考附图描述根据本公开的各种实施方案，在附图中：

图1示意性地示出根据一些实施方案的可将档案原始数据存储在实现冗余码的数据存储系统上的环境；

图2示意性地示出根据一些实施方案的用于将档案原始数据存储在数据存储系统的多个数据存储区上的各种工作流程；

图3示意性地示出根据一些实施方案的用于索引和定位存储在数据存储系统上的数据的各种工作流程；

图4示意性地示出根据一些实施方案的用于处理、索引、存储和检索存储在数据存储系统上的数据的示例性过程；

图5示意性地示出根据一些实施方案的用于索引存储在冗余编码数据存储系统上的原始数据的示例性过程；

图6示意性地示出根据一些实施方案的包括可实现数据存储和索引技术的计算资源服务提供商的环境；

图7示意性地示出根据一些实施方案的能够实现各种数据存储和索引技术的数据存储服务；并且

图8示出可实现各种实施方案的环境。

具体实施方式

在以下描述中，将描述各种实施方案。出于解释的目的，将阐述具体的配置和细节，以便提供各实施方案的透彻理解。然而，对于本领域技术人员还将明显的是，在没有具体细节的情况下也可实行各实施方案。此外，为了不使所描述的实施方案晦涩，可能会省略或简化众所周知的特征。

本文描述和提出的技术包括用于使用冗余编码技术将数据档案(“档案”)的原始数据存储在数据存储系统上的系统和方法。例如，诸如纠删码的冗余码可应用于传入档案(诸如从实现本文描述的存储技术的计算资源服务提供商的客户接收到的档案)，以便允许存储在最少的卷上可用的单个档案的原始数据，诸如数据存储系统的那些数据，同时保留可用性、耐用性以及由应用冗余码而赋予的其他保证。