[发明专利]一种数据存储和分析方法、装置、设备和可读介质

权利要求书

1.一种数据存储方法，其特征在于，所述方法包括：

获取埋点配置信息，所述埋点配置信息中定义了埋点和所述埋点的埋点参数字段，其中，所述埋点参数字段包括埋点标识字段；

基于所述埋点配置信息，确定列式存储表的列结构，其中，所述列式存储表中的每列对应一个埋点参数字段并且各列对应的埋点参数字段彼此不同；

从埋点日志信息中获取埋点参数字段的值，将所述埋点参数字段的值存储到所述列式存储表中的相应列中，其中，所述列式存储表中的每行对应于一条埋点日志信息。

2.根据权利要求1所述的方法，其特征在于，所述基于所述埋点配置信息，确定列式存储表的列结构，具体包括：

将所述埋点参数字段存储到第一MySQL数据表中；

对所述第一MySQL数据表中的埋点参数字段进行去重，得到第二MySQL数据表；

基于所述第二MySQL数据表中的埋点参数字段，确定列式存储表的列结构，其中，所述列式存储表中的列一一对应于所述第二MySQL数据表中的埋点参数字段。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取更新的埋点配置信息，所述埋点配置信息中定义了更新的埋点参数字段；

基于所述更新的埋点参数字段，得到更新的第一MySQL数据表；

基于所述更新的第一MySQL数据表，与所述第二MySQL数据表中的字段进行对比；

若所述更新的第一MySQL数据表与所述第二MySQL数据表中具有不同的埋点参数字段，则基于所述更新的第一MySQL数据表，更新所述第二MySQL数据表，得到更新的第二MySQL数据表；

基于所述更新的第二MySQL数据表中的埋点参数字段，更新所述列式存储表，得到更新的列式存储表，其中，所述更新的列式存储表中的列一一对应于所述更新的第二MySQL数据表中的一个埋点参数字段；

从埋点日志信息中获取埋点参数字段的值，将埋点参数字段的值存储到所述更新的列式存储表的相应列中，其中，所述埋点日志信息是基于所述更新的埋点配置信息上报的。

4.根据权利要求1所述的方法，其特征在于，所述从埋点日志信息中获取埋点参数字段的值之前，还包括：

将用户端根据埋点配置信息上报的非结构化文本格式的用户行为日志数据存储到消息中间件中；

使用第一数据处理引擎，从所述消息中间件中读取所述用户行为日志数据；

将所述用户行为日志数据存储到hive底层表中，得到埋点日志信息。

5.根据权利要求4所述的方法，其特征在于，所述从埋点日志信息中获取埋点参数字段的值，将所述埋点参数字段的值存储到所述列式存储表中的相应列中，具体包括：

以预定周期，获取新的埋点日志信息；

将所述新的埋点日志信息中的埋点参数字段的值存储到所述列式存储表中的所述相应列中。

6.根据权利要求4所述的方法，其特征在于，所述将用户端根据埋点配置信息上报的非结构化文本格式的用户行为日志数据存储到消息中间件中之后，还包括：

使用第二数据处理引擎，从所述消息中间件中读取所述用户行为日志数据；

将所述用户行为日志数据存储到缓存中，所述缓存中的数据格式为键-值形式，其中，键为埋点标识-埋点参数字段，值为埋点参数字段的值。

7.一种数据分析方法，其特征在于，所述方法包括：

获取数据分析配置信息，其中，所述数据分析配置信息包括时间粒度、待分析日期和待分析埋点标识；

根据所述数据分析配置信息，筛选符合所述待分析日期和所述待分析埋点标识的埋点日志信息，其中，所述埋点日志信息存储在列式存储表中，所述列式存储表的每行对应于一条埋点日志信息，其中，所述列式存储表中的每列对应一个埋点参数字段并且各列对应的埋点参数字段彼此不同；

基于筛选的所述埋点日志信息，计算数据分析结果。