[发明专利]一种多维数据的低比特量化和搜索方法

说明书

本发明提出一种将数据量化到2比特或3比特的超低精度，却对近似最近邻(approximate nearest neighbor，简称ann)搜索召回率降低小于1％的方法。本发明根据数据集的算术平均值和标准差，来确定量化值；通过ann搜索测试结果调整量化值；在ann搜索时进行校正，减小量化对召回率的影响。通过本方法，2比特量化将内存占用压缩为8比特的1/4，但召回率降低小于1％；3比特量化有比2比特更好的精度，可以降低对搜索校正的依赖。

技术领域

本发明涉及一种多维数据的低比特量化和搜索方法。

技术背景

传统的数据量化方法，是将单精度浮点数(占用32比特)量化成8比特整数(表示范围0～255)，用0、255分别表示取值范围的下限和上限，并通过上下限确定步长，以此近似的表示一个浮点数。在进行近似最近邻(approximate nearest neighbor，简称ann)搜索时，使用量化后的数据，几乎不会降低搜索结果的召回率；而整数运算一般比浮点运算快，减小数据量也会提高缓存命中率，因此计算速度也有提高。一组128维、1百万条的数据集，占用488MB空间，用8比特量化后变成122MB，可以将数据压缩为原来的1/4。虽然4倍的压缩率已经很高，但对于千万级、亿级的数据量来说，空间占用依然巨大。

发明内容

本发明提出一种将数据量化到2比特(表示范围0～3)或3比特(表示范围0～7)的超低精度，却对ann搜索召回率降低小于1％的方法。

具体实现方法包含如下步骤：

S01：根据数据集的算术平均值和标准差，确定中值和步长，以此确定分段值，根据数据所处的分段区间得到对应的量化值。

S02：使用量化后的值进行ann搜索测试，根据搜索效果调整各分段值，以达到最高召回率的值为最终值。

S03：ann搜索校正，减小量化对召回率的影响。

通过以上方法，2比特量化将内存占用压缩为8比特的1/4，但召回率降低小于1％。3比特量化有比2比特更好的精度，可以降低对搜索校正的依赖。

具体实施方式

1.计算分段值：

S04：计算数据集的算术平均值o和标准差a，选取o为分段的中值，选取a为步长，2比特量化用的三个分段值分别为o-a、o、o+a；3比特量化时步长为a/2即可。

例如数据集的算术平均值为0，标准差为0.1，选取-0.1、0、0.1为分段值，将落在(-∞，-0.1)、(-0.1，0)、(0，0.1)、(0.1，+∞)区间的数，分别映射为0、1、2、3，即可量化为2比特；若以0.05为步长，选取-0.15、-0.1、-0.05、0、0.05、0.1、0.15为分段值，即可量化为3比特。

2.调整分段值：

S05：可调整o的位置，也可调整a的大小，单次调整幅度为原值的十分之一到百分之一，可多次调整，来得到最优值。

S06：数据分布以o为中心左右近似对称的，最终调整幅度一般小于20％；数据分布非对称的调整幅度较大，2比特量化最终的中值、步长和3比特的差别也较大。

3.搜索校正：

S07：搜索时先使用低比特量化值计算距离，找到的新条目在放入搜索结果时，用原始值或更精确的量化值重新计算距离，将精确距离插入搜索结果，此方法可在量化后召回率降低超过1％时使用。

ann测试中常用的gist数据集，数据分布不对称，量化效果较差，使用2比特量化和搜索校正，可以获得原始值召回率的99.80％；数据分布对称的deep1b数据集，2比特量化不做搜索校正即可获得99.09％的效果，校正后可达99.96％。