[发明专利]一种基于单快照的多体模拟有损压缩技术

说明书

本发明中提出的一种基于单快照的多体模拟有损压缩技术，其主要内容包括：预测模型、有损压缩的优化，其过程为，首先构造预测模型，使用最后返回值模型代替线性曲线拟合模型，使得熵编码可以应用于数据库的绝大部分数据；然后针对分子动力学模拟数据集的有损压缩进行优化，先执行部分基数排序，实现对R索引数组的排序，再使用最后返回值有损压缩方法，作用于重新排序的数组，对R索引数组进行分段排序；最后针对宇宙模拟数据集的有损压缩进行优化，根据基于速度的R索引数组排序和基于坐标‑速度的R索引排序两种方式来重组数据。本发明对多体模拟的有损压缩模型进行优化，新模型具有更高的压缩比，且在合理的压缩比下具有更小的失真率。

技术领域

本发明涉及有损压缩领域，尤其是涉及了一种基于单快照的多体模拟有损压缩技术。

背景技术

有损压缩利用了人类对感兴趣的图像或者声波中的某些频率成分不敏感的特性，允许压缩过程中损失一定的信息，换来更大的压缩比；虽然不能完全恢复原始数据，但是所损失的部分对理解原始图像的影响很小。常见的声音、图像、视频压缩基本都是有损压缩。举例来说，经过有损压缩，音频能够在没有察觉的质量下降情况下实现较高的压缩比，视频能够在具有肉眼可观察的细微的质量下降的情况下实现非常大的压缩比。随着并行操作规模的日益扩大，当今的科学模拟需要存储的数据量越来越大，因此需要具有较大压缩比的压缩技术。比如，宇宙模拟当中，进行模拟的粒子的数目高达3.5兆，需要60PB的数据存储空间，这远远超出了超级存储器的存储空间。通常情况下，用户只存储数据的80％到90％。传统的方法通过压缩每一个快照来实现压缩数据。但是，其局限性在于这类方法十分难以实现，因为用户根本无法对多个快照进行平滑以减少数据的大小。另外，传统的方法具有较低的压缩比，因此其不能够直接应用于存储量巨大的多体模拟中。

本发明提出了一种基于单快照的多体模拟有损压缩技术，首先构造预测模型，使用最后返回值模型代替线性曲线拟合模型，使得熵编码可以应用于数据库的绝大部分数据；然后针对分子动力学模拟数据集的有损压缩进行优化，先执行部分基数排序，实现对R索引数组的排序，再使用最后返回值有损压缩方法，作用于重新排序的数组，对R索引数组进行分段排序；最后针对宇宙模拟数据集的有损压缩进行优化，根据基于速度的R索引数组排序和基于坐标-速度的R索引排序两种方式来重组数据。本发明对多体模拟的有损压缩模型进行优化，新模型具有更高的压缩比，且在合理的压缩比下具有更小的失真率。

发明内容

针对传统方法具有较低的压缩比等问题，本发明的目的在于提供一种基于单快照的多体模拟有损压缩技术，首先构造预测模型，使用最后返回值模型代替线性曲线拟合模型，使得熵编码可以应用于数据库的绝大部分数据；然后针对分子动力学模拟数据集的有损压缩进行优化，先执行部分基数排序，实现对R索引数组的排序，再使用最后返回值有损压缩方法，作用于重新排序的数组，对R索引数组进行分段排序；最后针对宇宙模拟数据集的有损压缩进行优化，根据基于速度的R索引数组排序和基于坐标-速度的R索引排序两种方式来重组数据。

为解决上述问题，本发明提供一种基于单快照的多体模拟有损压缩技术，其主要内容包括：

(一)预测模型；

(二)有损压缩的优化。

其中，所述的预测模型，使用最后返回值模型代替线性曲线拟合模型，最后返回值模型比线性曲线拟合模型具有更高的压缩比，平均每个变量的压缩比提高了10.1％；最后返回值模型采用具有很多量化区间的线性比例量化的方法，使得熵编码可以应用于数据库的绝大部分数据。

进一步地，所述的最后返回值模型以及线性曲线拟合模型，最后返回值模型利用先前一个数据点的预测值来估计当前时刻的数据点，即：最后返回值模型简单有效，在实际当中得到广泛的应用；

线性曲线拟合模型利用先前两个数据点的值来预测当前压缩的数据点，即：其中，vx_i-1和vx_i-2表示先前两个数据点的值。