[发明专利]通过从驻留在内容关联滤筛中的基本数据单元导出数据的数据的无损简化

说明书

本公开内容涉及较大和极大的数据集上的无损数据简化并且同时提供高数据摄取和数据取回速率。一些实施例可以生成数据组块的无损简化表示，其中所述无损简化表示包括对存储在内容关联滤筛中的一个或多个基本数据单元的引用并且可选地还有对重建程序的描述，所述重建程序在被应用于所述一个或多个基本数据单元时得到所述数据组块。随后可以通过网络把数据组块的无损简化表示传送到另一台计算机。

技术领域

本公开内容涉及数据存储、取回和通信。更具体来说，本公开内容涉及使用内容关联滤筛(content-associative sieve)的数据的无损简化。

背景技术

当今的信息时代以巨量数据的产生、捕获和分析为标志。新的数据从多样的来源产生，这方面的实例包括购买交易记录、企业及政府记录和通信、电子邮件、社交媒体发帖、数字图片和视频、机器日志、来自嵌入式设备的信号、数字传感器、蜂窝电话全球定位卫星、航天卫星、科学计算以及大挑战科学。数据以多样的格式生成，其中得许多数据是无结构的，并且不适合输入到传统的数据库中。企业、政府和个人以前所未有的速度生成数据，并且在存储、分析和传送该数据方面遇到困难。为了保存累积的数据，每年在购买存储系统方面要花费数百亿美元。在用以处理数据的计算机系统上也要花费类似地巨大金额。

在最现代的计算机和存储系统中，在被组织成存储分级结构的多层存储上容纳和部署数据。需要被经常并且快速地存取的数据被放置在最快速但是也最昂贵的层级，大多数数据(包括用于备份的拷贝)则优选地被存储在最密集并且最便宜的存储介质中。最快速并且最昂贵的数据存储层级是计算机系统的非易失性随机存取存储器或RAM，其驻留在紧邻微处理器核心的位置并且为随机数据存取给出最低等待时间和最高带宽。逐渐地更密集并且更便宜但是也更慢的各层(其对于随机存取具有逐渐地更高的等待时间和更低的带宽)包括非易失性固态存储器或闪存存储装置、硬盘驱动器(HDD)并且最后是磁带驱动器。

为了更加有效地存储和处理不断增加的数据，计算机行业持续对数据存储介质的密度和速度以及对计算机的处理能力作出改进。但是数据量的增加速度远远超出计算和数据存储系统的容量和密度的改进。来自2014年的数据存储行业的统计数据表明，在过去的几年里所产生并捕获的新数据构成全世界至今所捕获的数据的一大部分。全世界至今为止所产生的数据的数量估计超出多个泽字节(一个泽字节是10²¹个字节)。数据的大量增加对于必须可靠地存储、处理和传送该数据的数据存储、计算和通信系统提出了高要求。这就促使更多地使用无损数据简化或压缩技术来紧缩(compact)数据，从而能够以更低的成本来存储并且同样高效地处理和传送数据。

已经出现了多种无损数据简化(reduction)或压缩技术，并且近年来发生了演进。这些技术对数据进行检查以寻找数据中的某种形式的冗余，并且利用该冗余在没有任何信息损失的情况下实现数据足迹(data footprint)的简化。对于期望利用数据中的特定形式的冗余的给定技术，所实现的数据简化的程度取决于在数据中找到该特定形式的冗余的频度。所希望的是数据简化技术能够灵活地发现并且利用数据中的任何可用的冗余。由于数据源自多种来源和环境并且具有多种格式，因此对于用以应对这一多样数据的通用无损数据简化技术的开发和采用的兴趣很大。除了字母表之外通用数据简化技术不需要关于输入数据的先验知识；因此通用数据简化技术一般可以被应用于任何和所有数据，而不需要事先知道数据的结构和统计分布特性。