[发明专利]用于超密集IO数字保留的方法和装置

说明书

本发明公开一种用来编码和解码原始数据的系统和方法。所述用来编码的方法包括：接收未编码数据块；将所述未编码数据块分解成多个数据向量；将所述多个数据向量中的每一个映射到比特标记符；以及，将所述比特标记符存储在存储器中以便产生所述未编码数据的编码表示形式。编码还可包括将所述未编码数据块分解成默认数据和非默认数据并且仅映射所述非默认数据。在一些实施方案中，比特标记符可包括种子值和复制规则或者分形样式。

本申请为2016年4月15日提交的、发明名称为“用于超密集IO数字保留的方法和装置”、要求了在先提交的美国申请62/148,160和14/804,175的优先权、申请号为201610236668.5的专利申请的分案申请。

相关申请的交叉引用

本申请要求2015年4月15日提交的美国临时专利申请第62/148,160号的权益，所述专利申请的全部内容以引用的方式整体并入本文中。

背景技术

在20世纪80年代早期，新兴计算机产业结合了数学家和物理学家约翰·冯·诺依曼(John Von Neumann)的分布式理论计算机模型。冯·诺依曼的理论遥遥领先他所处的时代并且是在个人计算时代变为现实之前很久便已构思。冯·诺依曼模型实现了如下概念：许多较小的计算机可以比昂贵的单一集中式计算机(例如，大型机)定标并产生更高的计算机能力。随着数字数代的开始，个人计算机不仅变得很强大，而且在家庭和办公室中越来越普及，从而带来了应用程序的有用性。随着时间的推移，个人计算机(PC)正好发展成台式设备并且扩展到数据中心并变形为服务器。数据中心中的服务器转变成客户端-服务器市场，并且约翰·冯·诺依曼五十年前推理的众所周知的分布式计算模型变成了现实。

数十年来，已知的是PC、膝上型电脑和服务器使用RISC、PowerPC、和x86体系结构来实现处理能力(CPU)、使用有限存储器(例如，随机存取存储器RAM)并且使用硬盘(HDA)设备来实现存储介质。随着数字时代继续发展，计算机所创造的内容继续变得更丰富、密度更大，并且驱使计算机处理能力(CPU)、RAM容量和硬盘驱动器密度每年革新和升级。这种方法继续存在着若干危害：(1)在获得密度的同时并不是所有的部件都获得性能[摩尔定律]；(2)这些元件的I/O接口不是相同的速度，从而产生I/O瓶颈[克莱德定律]。

计算机产业中众所周知的升级技术已升级计算机存储器(RAM)，从而从机器中得到更多的性能。相反，存储器(RAM)容量受到若干关键因素的限制：CPU处理器、硅的纳米密度局限以及功率损耗。根据如今的标准，与最大计算机硬盘驱动器的容量是6TB相比，可获得的最大存储器模块的容量仅仅是128GB。在此示例中，硬盘驱动器比存储器模块大93.75倍；这是密度问题。相反，针对存储器模块(即，RAM)的最大输入/输出(I/O)传送速度目前是每秒56.7GB，并且针对串行附接SCSI(SAS-II)的最大I/O传送速度目前是每秒750MB。因此，存储器模块比如今的SAS-II硬盘驱动器快76.8倍。

在轻松的计算负荷下，人们可能不会注意到密度与性能的这种不平衡或斗争。然而，在繁重的计算负荷下，存在不均衡的话，密度与性能的这种主要不平衡以及I/O瓶颈将不可避免地发生。这些最终会使整个计算操作减缓到硬盘驱动器的速度。避免这种情况的无效尝试是针对问题添加更多的系统并且重新写入应用程序以便将应用程序进一步分布在更多的处理器核心上。

这种典型问题的答案是在于添加更多的存储器(RAM)并且写入应用算法以减轻瓶颈。

然而，下一个挑战突然出现了：成本。存储器(RAM)根据RAM模块的密度一般可能是非常昂贵的。RAM如何昂贵的现实世界示例是目前可获得的最大可用存储器模块是64GB。单个64GB RAM模块目前售价约每模块1000.00美元。平均的x86服务器母板目前售价约700.00美元并且可使用多达16或24个RAM模块。通过使用16个模块完全构成廉价x86母板，目前将花费约16000.00美元；这样使得RAM比廉价母板贵约20倍并且将只生产1TB的RAM。