[发明专利]一种数据表处理方法和装置

权利要求书

1.一种数据表处理方法，包括：

构建数据表，所述数据表中按行存储用户数据，一列对应一个字段，且所述数据表中包含扩展字段，扩展字段用于保存用户属性信息，所述用户属性信息用一个或多个键值对组成的字符串表示；

针对所述数据表的扩展字段建立分类标签表；

在所述分类标签表中定义所述扩展字段中保存的各键值对分别对应的标签值；

在所述数据表的扩展字段中，保存用所定义的标签值表示的用户属性信息，以替换所述数据表的扩展字段中的一个或多个键值对。

2.如权利要求1所述的方法，其中，在所述数据表的扩展字段中，保存用所定义的标签值表示的用户属性信息包括：

在所述数据表的扩展字段中，直接保存组成表示用户属性信息的字符串的一个或多个键值对所对应的一个或多个标签值；

或者，

在所述数据表的扩展字段中，保存组成表示用户属性信息的字符串的一个或多个键值对，其中，各键值对中的值由对应的标签值替代。

3.如权利要求1或2所述的方法，进一步包括：

将所述数据表的扩展字段中的数据导入分布式文件系统中；

在分布式任务运行系统中部署查询任务，由所述查询任务对导入分布式文件系统中的扩展字段数据进行查询。

4.如权利要求3所述的方法，其中，

所述分布式文件系统为Hadoop分布式文件系统HDFS；

所述分布式任务运行系统为MapReduce系统；

所述查询任务，利用Hive对导入分布式文件系统中的扩展字段数据进行查询。

5.如权利要求3所述的方法，进一步包括：

在分布式任务运行系统中为所述查询任务部署查询条件配置文件和查询模型；

由所述查询任务对导入分布式文件系统中的扩展字段数据进行查询包括：所述查询任务根据所述查询条件配置文件从分布式文件系统中的扩展字段数据中筛选出部分符合查询条件的数据作为训练数据输入到所述查询模型中，同时将当前的分类标签表输入到所述查询模型中；在查询模型训练完毕后，所述查询任务再利用训练后的查询模型从分布式文件系统中的扩展字段数据中查询出符合查询条件的结果数据。

6.如权利要求5所述的方法，进一步包括：

在所述分类标签表中，为各标签值增加时间戳，所述时间戳表示添加或修改标签值的时间点；

所述查询模型根据分类标签表中的时间戳感知标签值的变化。

7.一种数据表处理装置，包括：

数据表构建单元，适于构建数据表；其中，所述数据表中按行存储用户数据，一列对应一个字段，且所述数据表中包含扩展字段，扩展字段用于保存用户属性信息，所述用户属性信息用一个或多个键值对组成的字符串表示；

标签表处理单元，适于针对所述数据表的扩展字段建立分类标签表，在所述分类标签表中定义所述扩展字段中保存的各键值对分别对应的标签值；

数据表处理单元，适于在所述数据表的扩展字段中，保存用所定义的标签值表示的用户属性信息，以替换所述数据表的扩展字段中的一个或多个键值对。

8.如权利要求7所述的装置，其中，

所述数据表处理单元，适于在所述数据表的扩展字段中，直接保存组成表示用户属性信息的字符串的一个或多个键值对所对应的一个或多个标签值；或者，适于在所述数据表的扩展字段中，保存组成表示用户属性信息的字符串的一个或多个键值对，其中，各键值对中的值由对应的标签值替代。

9.如权利要求7或8所述的装置，进一步包括：

查询处理单元，适于将所述数据表的扩展字段中的数据导入分布式文件系统中；以及适于在分布式任务运行系统中部署查询任务，由所述查询任务对导入分布式文件系统中的扩展字段数据进行查询。

10.如权利要求9所述的装置，其中，

所述分布式文件系统为Hadoop分布式文件系统HDFS；

所述分布式任务运行系统为MapReduce系统；

查询处理单元适于将所述查询任务配置为：所述查询任务利用Hive对导入分布式文件系统中的扩展字段数据进行查询。