[发明专利]数据存储方法、装置、计算机设备和存储介质

说明书

本申请涉及一种数据存储方法、装置、计算机设备和存储介质。所述方法包括：获取包括多个数据段的待存储文件；按照待存储文件中数据段顺序依次读取每个数据段；当识别到数据段中存在有效数据段部分时，统计有效数据段部分的数据数量；存储数据段中的有效数据段部分，并记录存储的有效数据段部分对应的存储偏移量；根据记录的存储偏移量和统计的有效数据段部分的数据数量，生成存储的有效数据段部分对应的索引段，直至待存储文件中的数据段被读取完毕；根据生成的索引段生成待存储文件对应的索引文件。采用本方法进行数据存储时，仅存储数据段中的有效数据段部分，节约了存储空间。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种数据存储方法、装置、计算机设备和存储介质。

背景技术

随着数据处理技术的发展，需要经常对一些数据进行存储，出现了位图技术。通过位图技术可以将大量的数据以位图的形式进行存储，位图中的每一位可以表示一个数据。

然而，传统的位图技术会对所有数据对应的位图进行存储。当数据中存在大量无效数据的情况时，仍然会对大量无效数据对应的位图进行存储，占用了较多的存储空间，造成了存储空间的浪费。

发明内容

基于此，有必要针对上述技术问题，提供一种能够节约存储空间的数据存储方法、装置、计算机设备和存储介质。

一种数据存储方法，所述方法包括：

获取包括多个数据段的待存储文件；

按照所述待存储文件中数据段顺序依次读取每个数据段；

当识别到所述读取到的数据段中存在有效数据段部分时，统计所述有效数据段部分的数据数量；

存储所述读取到的数据段中的有效数据段部分，并记录存储的有效数据段部分对应的存储偏移量；

根据记录的存储偏移量和统计的有效数据段部分的数据数量，生成存储的有效数据段部分对应的索引段，直至所述待存储文件中的数据段被读取完毕；

根据生成的索引段生成所述待存储文件对应的索引文件。

一种数据存储装置，其特征在于，所述装置包括：

文件获取模块，用于获取包括多个数据段的待存储文件；

数据读取模块，用于按照所述待存储文件中数据段顺序依次读取每个数据段；

数量统计模块，用于当识别到所述读取到的数据段中存在有效数据段部分时，统计所述有效数据段部分的数据数量；

数据存储模块，用于存储所述读取到的数据段中的有效数据段部分，并记录存储的有效数据段部分对应的存储偏移量；

索引段生成模块，用于根据记录的存储偏移量和统计的有效数据段部分的数据数量，生成存储的有效数据段部分对应的索引段，直至所述待存储文件中的数据段被读取完毕；

索引生成模块，用于根据生成的索引段生成所述待存储文件对应的索引文件。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取包括多个数据段的待存储文件；

按照所述待存储文件中数据段顺序依次读取每个数据段；

当识别到所述读取到的数据段中存在有效数据段部分时，统计所述有效数据段部分的数据数量；

存储所述读取到的数据段中的有效数据段部分，并记录存储的有效数据段部分对应的存储偏移量；