[发明专利]用于优化数据库去重的装置、方法和计算机介质

说明书

用于对存储在存储设备的多层级上的数据库的优化去重的方法和相关联的系统。数据库去重系统在接收到更新数据库记录的请求时使用存储器驻留日志和之前所生成的存储器维护表以标识第一逻辑块，第一逻辑块标识存储在第一物理存储块中的被用来更新数据库记录的经更新的值，并且进一步标识第二逻辑块，第二逻辑块在数据库中存储相同记录的相对应的已有值。在确定第一和第二逻辑块驻留在相同存储层级内之后，该系统引导去重模块将这两个逻辑块与第一物理块相关联。

技术领域

本发明涉及由包括去重功能的数据管理系统对存储在物理存储设备的多层级集合上的数据的管理。

背景技术

诸如数据库管理系统(DBMS)之类的用户可更新的数据存储应用可以在多个存储设备上存储数据，每个存储设备与一个存储层级相关联。

DBMS应用可以包括将所存储的数据组织为记录的数据库-服务器部件。每条记录标识被组织为块集合的数据。数据库将这样的记录视为“逻辑”块集合，并且每个逻辑块指的是在物理存储设备上对应的“物理”存储块。在一个示例中，如果数据库的第一记录标识第一数据合集，则对应的数据库服务器应用可以将该数据组织为两个逻辑块L100和L200。逻辑块L100反过来可以将物理存储在硬盘上的数据标识为物理块P100，逻辑块L200可以类似地将物理存储在硬盘上的数据标识为物理块P200。

这种将逻辑块映射至物理块的方法是本领域技术人员已知的一种提高存储管理的效率、灵活性或可靠性的方式。在这样的机制中可以改善存储效率的一种方式是通过允许或促进“去重”功能，该功能可以由数据库管理系统的“去重引擎”模块执行。

去重是一种可以通过其消除重复的、冗余的或者以其它方式是非必要的存储块的过程。例如，如果逻辑块L100和逻辑块L101都标识相同的数据值集合，则去重引擎可以确保所标识的数据仅在物理介质上被存储一次。在这种情况下，如果数据存储在物理块P100中，则L100和L101可能都指向相同的物理块P100。

数据库管理系统通过比较针对两个逻辑块中的每一个的内容所计算的“散列值”来确定两个逻辑块指向相同的数据值集合。散列值是通过对数据元素执行数学“散列”函数所计算的数值。散列函数通常是复杂的数学计算(诸如高阶多项式函数)并且被选择为使得没有两个不同的数据元素能够产生相同的散列值。相反，如果对两个不同的数据元素执行适当选择的散列函数产生了两个相同的散列值，则这两个数据元素可以被假定是相同的。

散列值在计算机科学中具有很大的价值，因为与计算机对这些散列值所标识的一对可能冗长的数据元素进行比较相比，它们可以能够更快地存储、读取和比较两个数值。因此，本发明的实施例可以使用散列技术来有效地确定两个逻辑块或两个物理块是否包含相同的内容。

如本领域技术人员已知的，数据库管理系统可以基于包含存储在主存储(诸如计算机存储器)或辅存储(诸如旋转的磁盘驱动器或SSD固态存储设备)中的元素的架构。出于可读性的目的，本文将把主存储部件称为“存储器驻留(memory-resident)”，并将把辅存储部件称为“盘载(on-disk)”结构。但是读者并不应当将这些惯例解释为暗示本发明的实施例将数据专门存储在计算机存储器和磁盘驱动器中。

图1图示了如计算机化数据存储领域的技术人员所知的数据库管理系统的结构。图1包括附图标记1000-1001以及101-111。

图1的数据库应用包括存储器驻留模块1000的集合，它们在正常情况下被存储在计算机的主存储(诸如随机访问存储器或高速缓存)中；以及盘载数据结构1001的集合，它们正常被存储在辅存储(诸如旋转磁盘驱动器、固态存储设备(SSD)或可重写光学存储器)中。

尽管数据库管理系统的确切部件可以变化，典型系统的存储器驻留模块可以包括：

-数据库查询处理引擎101，其对数据库应用处理用户查询进行管理；