[发明专利]一种数据存储和分析方法、装置、设备和可读介质

说明书

本说明书实施例公开了数据存储和分析方法、装置、设备和可读介质。一种数据存储方法包括：取埋点配置信息，所述埋点配置信息中定义了埋点和所述埋点的埋点参数字段，其中，所述埋点参数字段包括埋点标识字段；基于所述埋点配置信息，确定列式存储表的列结构，其中，所述列式存储表中的每列对应一个埋点参数字段并且各列对应的埋点参数字段彼此不同；从埋点日志信息中获取埋点参数字段的值，将所述埋点参数字段的值存储到所述列式存储表中的相应列中，其中，所述列式存储表中的每行对应于一条埋点日志信息。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据存储和分析方法、装置、设备和可读介质。

背景技术

在大数据领域，一种对数据仓库中的数据进行查询的方式称为“即席查询(AdHoc)”，即席查询是用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生成相应的统计报表。即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的，而即席查询是由用户自定义查询条件的。即席查询通常的实现方式是，将数据仓库中的维度表和事实表映射到语义层，用户可以通过语义层选择表，建立表间的关联，最终生成SQL语句。即席查询不同于通常的查询。通常的查询在系统设计和实施时是已知的，所以可以在系统实施时通过建立索引、分区等技术来优化这些查询，从而提高这些查询的效率。而即席查询是用户在使用时临时生成的，系统无法预先优化这些查询。

客户端上报的用户行为日志数据多为文本化的JSON(JavaScript ObjectNotation)字符串，其中包括该埋点相关的参数信息，上层的分析系统需要基于这些数据进行筛选、聚合等操作，最终输出查询结果。对于客户端上报的日志数据，较常见的方式是将文本化的JSON数据直接存储为一列，在查询过程中通过数据仓库计算引擎提供的getJSONObject的方式进行字段的抽取和筛选。这种数据查询方法的问题在于需要多次解析JSON操作，会消耗大量的计算资源，花费大量的计算时间，无法满足即席查询时秒级的数据聚合和筛选需求。

发明内容

有鉴于此，本申请实施例提供了一种数据存储和分析方法、装置、设备及可读介质，用于提高即时用户行为查询和分析的效率。

为解决上述技术问题，本说明书实施例是这样实现的：

本说明书实施例提供的一种数据存储方法，包括：获取埋点配置信息，所述埋点配置信息中定义了埋点和所述埋点的埋点参数字段，其中，所述埋点参数字段包括埋点标识字段；基于所述埋点配置信息，确定列式存储表的列结构，其中，所述列式存储表中的每列对应一个埋点参数字段并且各列对应的埋点参数字段彼此不同；基于所述埋点配置信息，确定列式存储表的列结构，其中，所述列式存储表中的每列对应一个埋点参数字段并且各列对应的埋点参数字段彼此不同。

本说明书实施例提供的一种数据分析方法，包括：获取数据分析配置信息，其中，所述数据分析配置信息包括时间粒度、待分析日期和待分析埋点标识；根据所述数据分析配置信息，筛选符合所述待分析日期和所述待分析埋点标识的埋点日志信息，其中，所述埋点日志信息存储在列式存储表中，所述列式存储表中的每列对应一个埋点参数字段并且各列对应的埋点参数字段彼此不同；基于筛选的所述埋点日志信息，计算数据分析结果。

本说明书实施例提供的一种数据存储装置，包括：获取模块，用于获取埋点配置信息，所述埋点配置信息中定义了埋点和所述埋点的埋点参数字段，其中，所述埋点参数字段包括埋点标识字段；存储表结构确定模块，用于基于所述埋点配置信息，确定列式存储表的列结构，其中，所述列式存储表中的每列对应一个埋点参数字段并且各列对应的埋点参数字段彼此不同；数据存储模块，用于从埋点日志信息中获取埋点参数字段的值，将所述埋点参数字段的值存储到所述列式存储表中的相应列中，其中，所述列式存储表中的每行对应于一条埋点日志信息。