[发明专利]一种可实现快速寻找并支持分布存储的大数据处理方法

摘要

本发明涉及大数据存储技术领域，尤其是一种可实现快速寻找并支持分布存储的大数据处理方法。本发明方法通过分析大数据量进行准确寻找过程中的特点，通过对准确的数据进行MD5及一致性的哈希计算，并通过增加MD5字段与哈希字段来支持大数据准确寻找时的准确定位，从而过滤掉相关性小的数据，在相对小的空间内查找数据，从而提高大数据量准确查找的效率；同时通过对哈希字段的存储定义，可按不同的哈希值进行多文件或多服务器的分布式存储，从而提高大数据量的存储空间利用，做到数据存储均衡负载，减少存储服务器的压力。通过这种方法，在特定的需要进行数据准确获取的场景，能提高大数据量的存储效率，并且能提供一种快速获取准确的方法，极大提高大数据查找的效率。

主权项

1.一种可实现快速寻找并支持分布存储的大数据处理方法，其特征在于：所述的方法包括以下几个步骤：步骤1：对进行储存的逐个数据按一定的算法进行特征的提取，获得可以确定特定数据的唯一特征用于后续的数据值的计算，并形成可快速进行数据特征提取的方法，用于数据存储及读取时使用；步骤2：从逐个数据提取出来的特征，进行MD5值的计算，得出MD5值，再通过哈希算法，算出从1至N的哈希值，N的大小按具体的数据量大小及划分的分布式存储进行取值；步骤3：设计数据的存储结构，除了有存储数据的空间，还有MD5值的空间及哈希值的空间，哈希值用于直接命中有相同哈希值的数据，MD5值用于在相同的哈希值中确定准确的数据；步骤4：读取数据时，提取数据的特征，并计算出MD5值及哈希值，通过哈希值过滤掉大部分的数据，并从小范围的数据值中通过MD5值确定准确的数据值。