[发明专利]一种记录型数据存储空间的优化与恢复方法

摘要

本发明涉及一种记录型数据存储空间的优化与恢复方法，所述记录型数据存储空间的优化方法通过归并与哈希的方法，实现记录数据的去重与字典压缩，通过优化的无符号整数编码方法来提高了无符号整数序列的存储效率，从而优化了记录型数据存储空间；通过与优化的无符号整数编码方法相对应的优化的无符号整数解码方法来恢复记录型数据。

主权项

1.一种记录型数据存储空间的优化方法，其特征在于，通过对记录型数据的去重和编码来实现存储空间的优化，所述优化方法包括如下步骤：(1)数据预处理所述数据预处理包括字段分组和格式转换，所述字段分组为将记录型数据的字段进行分组，所述格式转换为将字段组转化为系统所需的预处理格式；(2)数据去重与字典压缩将预处理后的数据再次分组，每一个组为一个处理组，每个处理组内使用归并与哈希的方法，在每个处理组中将产生多棵记录树，记录树的节点为字段组，记录树的节点为字符表示的无符号整数，使用字典编码将每个字段转化成一个字典；(3)记录树编码在记录树中，对每个记录树集合中的记录树的节点使用优化的变长无符号整数编码方法进行编码；(4)记录树集合与字典集合的保存将每个字段组处理后产生的字典集合以及编码后的记录树集合写入数据块中，将数据块写入文件流中，同时在每个块后写入同步标记，同步标记用于定位数据块，为一组字节序列。