[发明专利]一种数据处理的方法和设备

说明书

本发明实施例提供了一种数据处理的方法和设备，该方法包括采用算术编码算法对数据进行编码，得到码值区间；在码值区间内存在与数据对应的码值时，根据码值区间获取码值；将码值的比特数与数据的比特数的进行比较，以获取比较结果；根据比较结果进行存储操作。本发明实施例能够减小数据的存储空间。

技术领域

本发明涉及数据处理领域，特别涉及一种数据处理的方法和设备。

背景技术

算术编码是近年来另一种非常实用的无损压缩算法。算法编码的核心思想在于将源数据中所有可能出现的被编码符号映射到一个整数集合，并赋予每个编码符号相应的出现概率(在此要求所有字符出现的概率和为1)。依照每个字符的出现概率，各字符占据[0,1]区间中的一个半开半闭的连续区间，区间长度值即概率值，同时区间之间彼此相互独立。接着按照映射表将所需编码字符串映射成一个整数序列，然后根据所需要编码的源数据中被编码符号出现的概率，逐步将源数据转变成一个对应于[0,1]区间的实数区间，并取该区间中的一个实数作为码值存储在计算机中。下次进行编码的区间是上次编码所得到的区间，而每次所有符号出现的概率比值不变。在解码的时候将该二进制码值按照逆变化还原成相应的整数序列，然后再映射回原来的字符串。例如，对于整数集空间{0,1,2,3}，出现概率分布为{0.2,0.5,0.2,0.1}。那么对应输入序列为<210013>的数据，编码区间依次如下:[0.7，0.9]、[0.74，0.84]、[0.74，0.76]、[0.74，0.744]、[0.7408，0.7428]、[0.7426，0.7428]，最终该数据对应的码值区间为[0.7426，0.7428](最后一个字符序列对应的编码区间)，该数据的码值为[0.7426，0.7428]中的一个数值。

对于待编码数据，现有算术编码中不考虑压缩是否具有收益，直接对数据进行压缩，然后存储对应的算术编码后的码值，由于某些数据对应的码值比特数较大，因此，现有技术会增大数据的存储空间。

发明内容

本发明实施例提供一种数据处理的方法和设备，该方法能够减小数据的存储空间。

第一方面，提供了一种数据处理的方法，包括：采用算术编码算法对数据进行编码，得到码值区间；在该码值区间内存在与该数据对应的码值时，根据该码值区间获取该码值；将该码值的比特数与该数据的比特数的进行比较，以获取比较结果；根据该比较结果进行存储操作。

结合第一方面，在第一种可能的实现方式中，该比较结果为该码值的比特数小于该数据的比特数，其中，该根据该比较结果进行存储操作，包括：根据该比较结果，存储该码值。

结合第一方面，在第二种可能的实现方式中，该比较结果为该码值的比特数大于或等于该数据的比特数，其中，该根据该比较结果进行存储操作，包括：根据该比较结果，存储该数据。

结合第一种可能的实现方式，在第三种可能的实现方式中，还包括：根据该码值进行该数据的应用操作，该应用操作包括等值比较、排列和模糊查询中的至少一种。

结合第三种可能的实现方式，在第四种可能的实现方式中，该数据为标识ID类字符串，该应用操作包括等值比较，该根据该码值进行该数据的应用操作，包括：在该码值与待比较的码值相等时，确定该数据与该待比较的码值对应的数据为相同数据。

结合第三种可能的实现方式，在第五种可能的实现方式中，该数据为ID类字符串或为字段的字母字符串，该应用操作包括排列，该根据该码值进行该数据的应用操作，包括：根据该码值的大小，确定该码值在待排列码值中的位置，该码值的位置用于表示该数据在与该待排列的码值对应的数据中的位置。