[发明专利]利用多种选择标准进行数据管理的方法和系统

说明书

本专利申请涉及到同样于2006年12月1日提交的授予Cezary Dubnicki、Erik Kruus和Cristian Ungureanu的标题为“MEHTODS AND SYSTEMS FOR QUICK AND EFFICIENT DATA MANAGEMENT AND/OR PROCESSING(用于进行快速且高效的数据管理和/或处理的方 法和系统)”的美国专利申请No.(TBD)，其被合并在此以作参考。

本公开内容可能包含受到版权保护的信息，比如这里给出的各种示 例性C++代码和伪代码。版权所有者不反对由任何人对本专利内容或者 出现在美国专利商标局文件或记录中的本专利进行复制再现，但是在其 他方面保留全部版权权利。

技术领域

本发明涉及数据处理和数据管理的领域，更具体来说，本发明涉及 针对诸如数据散列和/或数据冗余消除之类的应用的快速数据处理的方 法和系统。

背景技术

每天都有越来越多的信息在全世界范围内被产生，并且所保留及传 送的信息量持续以惊人的速度增加，从而在数据处理和管理方面产生了 严重的问题。许多所述信息被电子地产生、处理、保持、传送以及存储。 仅仅尝试管理所有这种数据以及相关的数据流和存储的数量就令人吃 惊。因此已经开发出多种系统和方法来更加快速地处理数据，并且通过 消除尽可能多的复制数据来存储及传送更少的数据。例如，已经开发出 多种系统和方法以帮助减少针对存储、传送来自各种电子设备的复制数 据的需求，所述电子设备例如是计算机、计算机网络(比如内联网和因 特网)、诸如电话和PDA的移动设备、硬件存储设备等等。此外，特 别在例如数据传输期间需要利用密码术来加密数据。例如，已经开发出 提供强大的(即密码的)散列的系统和方法，并且可以很自然地把这种 方法合并在利用数据散列在不安全的通信信道上实现数据冗余消除的 应用中。

在各种电子数据管理方法和系统中，已经开发了多种方法以用来散 列数据和/或例如从数据存储和数据传输中消除冗余数据。这些技术包括 各种数据压缩、数据散列和密码方法。在许多文章中公开了一些示例性 技术，其中包括：Philip Koopman的“32-Bit Cyclic Redundancy Codes for Internet Applications(用于因特网应用的32比特循环冗余码)” (Proceedings of the 2002 Conference on Dependable Systems and Networks，2002)；Jonathan Stone和Michael Greenwald的“Performance of Checksums and CRCs over Real Data(校验和及CRC在真实数据上的 性能)”(IEEE/ACM Transactions on Networking，1998)；Val Henson 和Richard Henderson的“An Analysis of Compare-by-Hash(散列比较的 分析)”(Proceedings of the Ninth Workshop on Hot Topics in Operating Systems，Lihue，Hawaii，2003年5月，pp.13-18)；以及Rai Jain的“A Comparison of Hashing Schemes for Address Lookup in Computer Networks(用于计算机网络中的地址查找的散列方案的比较)”(IEEE Transactions on Communications，1992)。此外还在多篇美国专利和专 利公开中公开了各种示例性技术，其中包括美国专利公开No. 2005/0131939、2006/0047855和2006/0112148以及美国专利No. 7,103,602和6,810,398。

然而，所述已知的技术缺少特定有用的能力。一般来说，性能更好 的选择技术(例如高数据冗余消除)使用过多的处理时间(花费过长时 间)，非常快速的数据选择技术可能缺少所期望的数据消除程度。例如， 存在多种散列函数方法，其中包括整文件散列、固定尺寸数据块散列以 及内容定义的数据组块散列。但是在这些技术当中没有一种技术既相当 快速(仅仅使用少量计算时间)又具有识别出数据集中的大部分数据冗 余的能力(例如具有高数据冗余消除)。