[发明专利]一种数据表处理方法和装置

说明书

技术领域

本发明涉及数据库技术领域，具体涉及一种数据表处理方法和装置。

背景技术

数据库中的数据表通常包括多个字段，字段通常是根据数据统计的需求而设置的。但在大数据场景下，尤其是用户数据的统计数据表中，并不是所有类型的数据都适合单独列为一个字段。这是因为获取到的数据通常是一组或一条数据，这组或这条数据中并不一定包含某一个特定类型的数据，举例来说，对于某一会员数据表格，“姓名”这一类型的数据可能是每条数据中都包含的，但对于“终端系统版本号”这一类型的数据，可能只在获取到的部分数据中存在。那么将“姓名”单独作为数据表的一个字段没有问题，而如果将“终端系统版本号”作为一个字段，显然在数据表中就会存在大量的空白，浪费了存储空间。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据表处理方法和装置。

依据本发明的一个方面，提供了一种数据表处理方法，包括：

构建数据表，所述数据表中按行存储用户数据，一列对应一个字段，且所述数据表中包含扩展字段，扩展字段用于保存用户属性信息，所述用户属性信息用一个或多个键值对组成的字符串表示；

针对所述数据表的扩展字段建立分类标签表；

在所述分类标签表中定义所述扩展字段中保存的各键值对分别对应的标签值；

在所述数据表的扩展字段中，保存用所定义的标签值表示的用户属性信息，以替换所述数据表的扩展字段中的一个或多个键值对。

可选地，在所述数据表的扩展字段中，保存用所定义的标签值表示的用户属性信息包括：

在所述数据表的扩展字段中，直接保存组成表示用户属性信息的字符串的一个或多个键值对所对应的一个或多个标签值；

或者，

在所述数据表的扩展字段中，保存组成表示用户属性信息的字符串的一个或多个键值对，其中，各键值对中的值由对应的标签值替代。

可选地，该方法进一步包括：

将所述数据表的扩展字段中的数据导入分布式文件系统中；

在分布式任务运行系统中部署查询任务，由所述查询任务对导入分布式文件系统中的扩展字段数据进行查询。

可选地，所述分布式文件系统为Hadoop分布式文件系统HDFS；

所述分布式任务运行系统为MapReduce系统；

所述查询任务，利用Hive对导入分布式文件系统中的扩展字段数据进行查询。

可选地，该方法进一步包括：在分布式任务运行系统中为所述查询任务部署查询条件配置文件和查询模型；

由所述查询任务对导入分布式文件系统中的扩展字段数据进行查询包括：所述查询任务根据所述查询条件配置文件从分布式文件系统中的扩展字段数据中筛选出部分符合查询条件的数据作为训练数据输入到所述查询模型中，同时将当前的分类标签表输入到所述查询模型中；在查询模型训练完毕后，所述查询任务再利用训练后的查询模型从分布式文件系统中的扩展字段数据中查询出符合查询条件的结果数据。

可选地，在所述分类标签表中，为各标签值增加时间戳，所述时间戳表示添加或修改标签值的时间点；

所述查询模型根据分类标签表中的时间戳感知标签值的变化。

依据本发明的另一方面，提供了一种数据表处理装置，包括：

数据表构建单元，适于构建数据表；其中，所述数据表中按行存储用户数据，一列对应一个字段，且所述数据表中包含扩展字段，扩展字段用于保存用户属性信息，所述用户属性信息用一个或多个键值对组成的字符串表示；

标签表处理单元，适于针对所述数据表的扩展字段建立分类标签表，在所述分类标签表中定义所述扩展字段中保存的各键值对分别对应的标签值；

数据表处理单元，适于在所述数据表的扩展字段中，保存用所定义的标签值表示的用户属性信息，以替换所述数据表的扩展字段中的一个或多个键值对。

可选地，所述数据表处理单元，适于在所述数据表的扩展字段中，直接保存组成表示用户属性信息的字符串的一个或多个键值对所对应的一个或多个标签值；或者，适于在所述数据表的扩展字段中，保存组成表示用户属性信息的字符串的一个或多个键值对，其中，各键值对中的值由对应的标签值替代。

可选地，该装置进一步包括：

查询处理单元，适于将所述数据表的扩展字段中的数据导入分布式文件系统中；以及适于在分布式任务运行系统中部署查询任务，由所述查询任务对导入分布式文件系统中的扩展字段数据进行查询。