[发明专利]采用HASH链存储数据的方法及数据写入、读取方法

说明书

本发明涉及一种采用HASH链存储数据的方法及数据写入、读取方法，其中，存储数据的方法步骤包括穷举固定长度的所有数据块，采用HASH算法计算所有标准数据块的HASH值，形成具有若干HASH值的索引表，并且使待存储的数据文件在存储系统内以其所包含的标准数据块的HASH索引链的形态进行存储。本发明在对数据文件的读写处理时均只对文件的HASH索引链操作，从而降低数据文件在系统内实际存储容量的同时，还可提高数据读写效率；同时，于系统内或系统间进行数据传递，均仅需传递数据HASH索引链记录，从而降低系统内、系统间数据传输的带宽需求；此外，便于灵活地在分布式系统中部署，易于构建分布式、大规模的存储系统。

技术领域

本发明涉及计算机存储技术领域，尤其涉及一种采用HASH链存储数据的方法以及数据写入方法、数据读取方法。

背景技术

计算机存储技术的发展需要基于计算机硬件系统的存储单元，而我们所熟知的计算机硬件系统一般则由运算器、控制器、存储器、输入和输出设备构成，存储性能优劣受到多方面的影响，其中即包括存储单元的存储容量与存储方式。对于日益复杂的大数据应用及快速增长的数据量，存储设备的性能、容量乃至数据传输带宽在现代计算机系统中都捉襟见肘，逐渐成为整个计算机系统的发展瓶颈。

其中，存储容量会直接关系到存储系统的性能优劣，主要原因在于，随着计算机CPU运算性能的不断加强，CPU性能已经超过了内存系统能够满足的范围，另一方面，多媒体、面向对象数据库、Web服务器等大量应用使得内存要求迅速增加，与处理器高速发展不相适应的内存系统已经限制了许多应用领域，并且这一制约效果还在继续增大，这一事实说明，若无法解决内存系统的性能瓶颈问题，单纯地继续提高机器主频和算术逻辑功能，其投入与产出比可能会越来越大，因而，对于一些研究项目和主要硬件设备厂商的研究部门，内存系统研究成为取代CPU设计的新热点。

本发明技术方案之设计人员所施以开发的技术手段便是着重于以上所提到的另一个关键部分，即存储方式，这也符合集成电路技术快速发展这一背景之下的研究需求，由于集成了运算器、控制器功能的微处理器性能几乎以每十八个月性能翻一番、价格下降一倍的速率飞速发展，而受限于存储设备硬盘机械寻道速度的影响，数据读写效率的提升远远落后于计算机系统运算能力的提升。

随着大数据时代的到来，计算机系统需要处理的数据越来越庞大，CPU和存储设备之间的性能鸿沟问题就更加凸显。虽然业内已采取外置存储设备、专用存储网络、性能更高的存储介质等方法应对，但是，海量的数据存储需要大量的存储设备，存储设备的能耗问题、空间占用问题日益凸显。根据Google公司的一项研究，在其数据中心内，存储设备的功耗达到了整机的30％，如果加上内存功耗，存储系统的功耗占比甚至超过了CPU。显然，提高数据读写效率、提升数据存储空间利用率，已成为计算机系统发展的一大挑战。

本发明技术方案之设计人员针对目前计算机系统存储方式的优劣之处进行总结之后发现，大量千变万化的数据文件无法施以有序、精简、有特征性地存储而导致其数据文件存储形态给存储系统带来巨大的压力，并且在应用时所暴露出的劣处具有普遍性，包括：

⑴目前的计算机存储系统经常受到千变万化的大量数据文件的影响且这些数据文件存储突显出无序性，因而，无法大幅压缩所需存储的数据，最终导致实际存储空间占用比例非常高；

⑵无论是写数据时、还是读取数据时，都需要写入实际的数据块，这会立刻降低数据存储效率，同时，受到数据块部署缺乏参照的影响，读取数据时效率非常低；

⑶现有的存储系统当写入数据块时，还需要进行适当的较验和纠错，对于大量数据文件，这并不利于构建大规模的存储系统；

⑷此外，以往的数据存储方式既并不利于系统内的数据传输，也不利于系统间的数据传输，于系统内的数据传递会存在着较大的数据传输压力，同时，当需要通信的两个计算机系统之间传递数据时，会受到所传输的繁冗数据文件的影响，系统间数据传输带宽需求显然无法满足。