[发明专利]基于多层次并行的基因数据无损压缩方法及装置

权利要求书

1.基于多层次并行的基因数据无损压缩方法，其特征在于，包括以下步骤：

S1、将输入的原始基因数据分割为N个数据字段；

S2、将每个数据字段分割为M个数据块，并分别为每个数据字段分配M条相同的压缩流水线；

S3、对每个数据块分别匹配一条压缩流水线，并通过压缩流水线对数据块进行压缩；所述步骤S3中，压缩流水线包括若干压缩算法，所述压缩算法由若干压缩算子组合而成，所述压缩算子根据各数据字段的数据特点以及实际压缩需求选择；

S4、获取第N个数据字段所分配的压缩流水线由若干压缩算子组合后，所得到的第一并行度K_N；并根据第一并行度K_N获取第N个数据字段的第二并行度M*K_N；所述步骤S4中，还包括以下步骤：

S401、根据每个数据字段的第二并行度M*K_N，分析每个数据字段完成压缩的完成时间，并记录完成的同步率；

S402、判断同步率是否符合设定值，符合不符合，则调整压缩流水线中的压缩算子或压缩算法的组合，获取压缩流水线的第一并行度K_N’和每个数据字段的第二并行度M*K_N’；

S403、重复执行步骤S401和步骤S402，直至同步率符合设定值；

S5、根据每个数据字段的第二并行度M*K_N，分析最后完成压缩的数据字段；

S6、在每个数据字段均完成压缩后，先对各数据字段中每个数据块的压缩结果进行合并，再对各数据字段的压缩结果进行合并，获得原始基因数据的压缩数据。

2.根据权利要求1所述的基于多层次并行的基因数据无损压缩方法，其特征在于：所述N的大小根据原始基因数据的复杂度和丰富程度选取；所述M的大小根据硬件资源和压缩效果选取。

3.根据权利要求1所述的基于多层次并行的基因数据无损压缩方法，其特征在于：所述步骤S5还包括：

S501、根据第一并行度K_N，获取Min（K_N）；

S502、根据每个数据字段的第二并行度M*K_N，获取原始基因数据的第三并行度M*N*Min（K_N）；

S503、根据第三并行度M*N*Min（K_N）分析原始基因数据的压缩性能。

4.根据权利要求1所述的基于多层次并行的基因数据无损压缩方法，其特征在于：所述步骤S6中，各数据字段压缩结果的合并方式为：将各数据字段压缩结果以特定的格式存储在同一文件中，并在文件的文件头中以存储顺序标明各个数据字段所选择的压缩算法中所包含的压缩算子的组合。

5.根据权利要求1所述的基于多层次并行的基因数据无损压缩方法，其特征在于：所述压缩算子包括数据转换类、熵编码类以及一般编码类，所述压缩流水线中的压缩算子为并行设置。

6.基于多层次并行的基因数据无损压缩装置，其特征在于：包括存储内数据压缩引擎和闪存，所述存储内数据压缩引擎用于执行权利要求1-5任一所述的方法，从闪存中获取原始基因数据，并将原始基因数据的压缩数据存储到闪存中。

7.根据权利要求6所述的基于多层次并行的基因数据无损压缩装置，其特征在于：所述存储内数据压缩引擎包括闪存转换单元、闪存控制器、配置调度单元和基因压缩执行单元，所述配置调度单元用于接收压缩算子的配置信息和并行度信息，通过分析给出闪存访问策略，并将配置信息传入基因压缩执行单元，以及将闪存访问策略传入闪存转换单元；所述闪存转换单元用于根据闪存访问策略生成闪存的调度信息；闪存控制器用于向基因压缩执行单元输入原始基因数据，基因压缩执行单元用于根据配置信息对原始基因数据进行压缩，闪存控制器根据调度信息压缩完成的数据写入闪存。

8.根据权利要求7所述的基于多层次并行的基因数据无损压缩装置，其特征在于：所述配置调度单元包括配置器和调度器，所述配置器用于接收压缩算子的配置信息，调度器用于接收并行度信息，通过分析给出闪存访问策略；闪存转换单元包括地址转换器和闪存调度器，所述地址转换器用于处理逻辑地址和物理地址的转换，所述闪存调度器用于根据闪存访问策略生成闪存的调度信息。