[发明专利]一种大数据快速存储系统

摘要

本发明涉及大数据的技术领域，特别是涉及一种大数据快速存储系统，其减少重复数据存储并且快速存储数据的；数据上行单元，用于接收待存储数据并转发；存储器，用于接收与保存待存储数据，并且对已存储数据进行读取、写入、分片和删除，并将已存储数据依照协议拆分为文件头和文件数据；存储器还包括：文件头保存单元，用于保存已存储数据的文件头，并将文件头映射在文件分配表中，其中文件头包括文件名、文件属性和占用簇号等信息；文件数据保存单元，用于保存已存储数据的文件数据，其中文件数据为已存储数据的真实数据；自检单元，用于读取文件数据保存单元中的已存储数据的文件数据。

主权项

1.一种大数据快速存储系统，其特征在于，包括：数据上行单元，用于接收待存储数据并转发；存储器，用于接收与保存待存储数据，并且对已存储数据进行读取、写入、分片和删除，并将已存储数据依照协议拆分为文件头和文件数据；存储器还包括：文件头保存单元，用于保存已存储数据的文件头，并将文件头映射在文件分配表中，其中文件头包括文件名、文件属性和占用簇号等信息；文件数据保存单元，用于保存已存储数据的文件数据，其中文件数据为已存储数据的真实数据；自检单元，用于读取文件数据保存单元中的已存储数据的文件数据，并且对单个已存储数据的文件数据依照固定数据抽取规则抽取固定组数的抽取数据并发送；特征样本数据保存单元，用于接收抽取数据，并且读取对应的文件头保存单元中的已存储数据的文件头，并将对应的已存储数据的文件头与抽取数据一同保存为特征样本数据；外检单元，用于读取待存储数据的文件数据，并且对单个待存储数据的文件数据依照固定数据抽取规则抽取固定组数的抽取数据并发送；特征样本数据比对单元，用于读取并搜索全部特征样本数据保存单元中的抽取数据并与外检单元发送的待存储数据的抽取数据进行比对；当全部特征样本数据保存单元中的抽取数据存在与外检单元发送的待存储数据的抽取数据完全一致的情况时，设置禁止上传信号赋值为“1”并发送；当全部特征样本数据保存单元中的抽取数据存在与外检单元发送的待存储数据的抽取数据不完全一致的情况时，设置禁止上传信号赋值为“0”并发送；数据控制单元，用于接收特征样本数据比对单元发送的禁止上传信号；当禁止上传信号为“1”时，禁止上行单元向存储器传输的待存储数据，并且清除存储器中的待存储数据的缓存；当禁止上传信号为“0”时，建立上行单元与存储器之间的数据传输传输并传输待存储数据；重组访问连接信息保存单元，用于接收禁止上传信号并生成待存储数据在存储器的访问地址并发送；数据下行单元，用于接收并转发重组访问连接信息保存单元的访问地址并转发。