[发明专利]一种高性能高压缩比的标签运算方法

说明书

本发明涉及数据处理技术领域，具体涉及一种高性能高压缩比的标签运算方法，包括通过UI端定义标签和运算规则；通过应用端将标签和运算规则解析为三段执行计划；通过元数据端采用闭包表的形式存储标签的元数据；通过数据端采用位图的方式基于三段执行计划和运算规则对标签分别进行运算和压缩存储。本发明通过采用位图的方式对标签的逻辑结果进行了优化，位图为进行扩展后的咆哮位图，咆哮位图本身即具有超高的压缩率和运算效率，基于咆哮位图的底层实现，本发明同样具有咆哮位图的优势，可以直接对标签进行运算和压缩后存储，解决了标签稀疏时会浪费内存的问题。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种高性能高压缩比的标签运算方法。

背景技术

传统的标签压缩存储方法，或压缩存储明细，或压缩存储位图。压缩存储明细的问题是占用空间，加载标签需要大量的IO，加载后占用大量内存。明细压缩存储的标签运算借助数据库的JOIN、IN、UNION、ANTI JOIN、EXCEPT、NOT IN等语句。多标签复杂运算时结构化查询语言冗长，书写复杂度较高，且标签较大时运算效率低下。

压缩存储位图的方式可以有效降低标签运算规则的书写复杂度，加载到内存后的运算效率也很可观，但压缩存储位图的问题在于标签稀疏时存在大量的空位，占据很多无效空间，提取到内存中同样会浪费内存。

发明内容

本发明的目的在于提供一种高性能高压缩比的标签运算方法，旨在解决标签稀疏时会浪费内存的问题。

为实现上述目的，本发明提供了一种高性能高压缩比的标签运算方法，包括以下步骤：

通过UI端定义标签和运算规则；

通过应用端将所述标签和所述运算规则解析为三段执行计划；

通过元数据端采用闭包表的形式存储所述标签的元数据；

通过所述数据端采用位图的方式基于所述三段执行计划和所述运算规则对所述标签分别进行运算和压缩存储。

其中，所述元数据包括所述标签的名称、标识和树形结构；

所述标签包括基础标签、叠加标签和剔除标签。

其中，所述三段执行计划包括筛选标签执行计划、与或非运算执行计划和入库压缩存储执行计划。

其中，所述通过所述数据端基于所述三段执行计划和所述运算规则对所述标签分别进行运算和压缩存储，包括：

基于所述筛选标签执行计划采用位图的方式对所述标签进行筛选，得到对象集合；

基于所述与或非运算执行计划对所述对象集合进行分切，得到多个对象位图，对多个所述对象位图进行与或非运算，得到运算结果；

基于所述入库压缩存储执行计划将对各所述对象位图和所述标签进行压缩存储。

其中，所述基于所述筛选标签执行计划采用位图的方式对所述标签进行筛选，得到对象集合，包括：

基于所述筛选标签执行计划利用所述元数据从所述标签中查找目标标签；

将所述目标标签压缩存储为位图；

基于符合条件对所述位图进行运算，得到对象集合。

其中，所述位图为进行扩展后的咆哮位图。

其中，所述位图的无符号整型范围为64位长度、128位长度和256位长度。