[发明专利]一种大数据写入、读取速度耦合的方法、设备及存储设备

摘要

本发明提供了一种大数据写入、读取速度耦合的方法、设备及存储设备，一种大数据写入、读取速度耦合的方法主要是通过对数据提取数据特征，建立的索引表等完成数据的写入过程和读取过程；一种大数据写入、读取速度耦合的设备及存储设备用于实现种匹配大数据读写速度不耦合的方法。本发明提供的一种大数据写入、读取速度耦合的方法、设备及存储设备，在面向混杂数据流时，能够快速传输数据，提升数据的传输速度。

主权项

一种大数据写入速度耦合的方法，其特征在于：具体步骤包括：步骤1：按照数据存储结构，将数据分配给每个节点；步骤2：在节点处，把数据分为两类：一类为样本数据，另一类为剩余数据；步骤3：对随机提取的样本数据进行预处理，提取所述样本数据的数据特征；步骤4：根据提取的所述样本数据的数据特征，在节点处建立索引表；步骤5：在节点下，任意选择存储量数量级在GB以上的存储设备作为预处理数据子节点，连续存储所述样本数据；步骤6：更新索引表，确定子节点分配方法；步骤7：按照所述子节点分配方法分配子节点，并对已经建立的索引表中的数据特征建立统一的压缩机制；步骤8：对剩余数据进行预处理，提取所述剩余数据的数据特征；步骤9：判断提取的数据特征是否全为所述索引表中的数据特征？若提取的数据特征全为所述索引表中的数据特征，则直接到步骤11；若提取的数据特征不全为所述索引表中的数据特征，则直接到步骤10；步骤10：更新索引表，在索引表中建立新的数据特征，并分配数据特征子节点，然后到步骤11；步骤11：根据数据特征和索引表上的压缩机制，将数据按照数据特征进行数据压缩处理；步骤12：随机选择一个数据特征子节点写入数据，在剩余的数据特征子节点中建立指向写入数据的索引；步骤13：判断是否继续写入数据？若是，则回到步骤8；若不是，则到步骤14；步骤14：写入数据完成。