[发明专利]一种用户画像数据的查询系统及方法

说明书

本发明实施例公开了一种用户画像数据的查询系统，包括：一级缓存数据库，缓存dm数据仓库中存储的前一天的活跃用户数据；二级缓存数据库，缓存dm数据仓库中存储的所有用户数据；数据查询模块，接收客户端查询请求以从一级缓存数据库、二级缓存数据库和Metadata数据库中查询所需用户数据；采用预设数据存储结构存储，包括：数据描述信息和实际数据，数据描述信息是一个数组，包含多个标签对象，每个标签对象包括字段名和字段类型，实际数据中所有字段用分隔符分隔，字段的拼接顺序与标签对象的顺序一致。本发明实施例公开了一种用户画像数据的查询方法。本发明提高了缓存命中率和查询效率，在支持高并发访问的同时降低了数据存储成本。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种用户画像数据的查询系统及方法。

背景技术

用户画像即用户信息标签化，通过分析用户的基础信息、特征偏好和社会属性等各维度的数据，刻画出用户的信息全貌，以从中挖掘出有价值的信息。在实现用户画像数据的在线随机查询时，由于系统存储数据的数据量非常大，导致查询时间较长，尤其在海量数据高并发访问时，查询效率更低。

发明内容

为解决上述问题，本发明的目的在于提供一种用户画像数据的查询系统及方法，提高了缓存命中率和查询效率，在支持高并发访问的同时降低了数据存储成本。

本发明实施例提供了一种用户画像数据的查询系统，所述系统包括：

一级缓存数据库，用于缓存dm数据仓库中存储的前一天的活跃用户数据，所述前一天的活跃用户数据为前一天被查询过的用户ID以及当天要导入数据的用户ID的交集；

二级缓存数据库，用于缓存所述dm数据仓库中所有用户数据；

数据查询模块，用于接收客户端的查询请求，以根据所述查询请求从所述一级缓存数据库、所述二级缓存数据库和Metadata数据库中查询所需用户数据；

其中，所述一级缓存数据库、所述二级缓存数据库和所述Metadata数据库中的用户数据采用预设数据存储结构存储，所述预设数据存储结构包括：

数据描述信息和实际数据；

所述数据描述信息是一个数组，包含多个标签对象，每个标签对象包括字段名和字段类型，所述数据描述信息存储于所述Metadata数据库中；

所述实际数据在所述dm数据仓库中以二维表的形式存储，每个所述二维表对应一条所述数据描述信息，所述二维表中的实际数据在导入所述一级缓存数据库和所述二级缓存数据库之前，对所述二维表中所有字段进行拼接并使用分隔符对数据进行分隔，所述二维表中每个字段的拼接顺序与所述数据描述信息的数组中标签对象的顺序一致以使从所述一级缓存数据库和所述二级缓存数据库中查询到实际数据时能根据分隔符解析该实际数据，并能根据该实际数据的字段顺序从所述Metadata数据库查询到对应的数据描述信息。

作为本发明进一步的改进，所述一级缓存数据库和所述二级缓存数据库中的实际数据均采用key-value方式存储，以使所述客户端能基于key进行随机查询。

作为本发明进一步的改进，所述一级缓存数据库采用Redis数据库，

对于所述一级缓存数据库中的实际数据，value数据采用gzip压缩导入Redis数据库。

作为本发明进一步的改进，所述二级缓存数据库采用Hbase数据库，

对于所述二级缓存数据库中的实际数据，key数据添加6位的hash值前缀作为预分区取值，value数据均存储在同一列簇中的一个列中，且key数据和value数据均采用snappy压缩，压缩后使用bulkload方式导入所述Hbase数据库。

本发明实施例还提供了一种用户画像数据的查询方法，所述方法包括：