[发明专利]数据处理方法、装置、电子设备及存储介质

说明书

本发明实施例涉及一种数据处理方法、装置、电子设备及存储介质，方法包括：获取待存储的数据集合，所述数据集合包括对应于同一对象的多个数据；针对所述数据集合，在Hbase数据表中插入一行，以及将所述数据集合中的每个所述数据分别写入所述行的不同列中；当接收到针对所述数据集合的数据读取指令时，从所述Hbase数据表中确定所述数据集合所在的行，并读取所述行中每列上的数据，得到所述数据集合。由此，实现了提高数据的写入性能和读取性能，从而提高数据的处理效率。

技术领域

本发明实施例涉及数据库技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

随着大数据的发展，当前存在越来越多的实时数据统计需求，例如在统计视频的播放量时，则需要统计视频的实时天级播放量(0点到当前时间点的播放量)，这就要求存储上述实时数据的数据库可以对实时数据具有较好的写入和读取性能。

其中，由于写入实时数据需要支持自增操作(例如，播放量＝存储播放量+增量)，因此实时数据需单独存放在列中。而现有的对实时数据的处理方法，通常需要用户手动添加列，再将实时数据写入该列中，其写入性能效率低，易出错，或者将实时数据存放在不同的key中，但查询实时数据时，需要扫描key，造成查询复杂以及效率低，从而降低了对实时数据的处理效率。

发明内容

鉴于此，为解决现有技术中，通常需要用户手动添加列，再将实时数据写入该列中，其写入性能效率低，易出错，或者将实时数据存放在不同的key中，但查询实时数据时，需要扫描key，造成查询复杂以及效率低，从而降低了对实时数据的处理效率的技术问题，本发明实施例提供一种数据处理方法、装置、电子设备及存储介质。

第一方面，本发明实施例提供一种数据处理方法，所述方法包括：

获取待存储的数据集合，所述数据集合包括对应于同一对象的多个数据；

针对所述数据集合，在Hbase数据表中插入一行，以及将所述数据集合中的每个所述数据分别写入所述行的不同列中；

当接收到针对所述数据集合的数据读取指令时，从所述Hbase数据表中确定所述数据集合所在的行，并读取所述行中每列上的数据，得到所述数据集合。

作为一个可能的实现方式，所述针对所述数据集合，在Hbase数据表中插入一行，包括：

获取所述数据集合对应的所述对象的对象标识；

以所述对象标识为行键，在Hbase数据表中插入一行。

作为一个可能的实现方式，所述将所述数据集合中的每个所述数据分别写入所述行的不同列中，包括：

针对所述数据集合中的每个所述数据执行以下处理：

生成所述数据对应的字段标识，所述字段标识用于表征所述数据的应用意义；

以所述字段标识为列名，在所述行中插入一列，并将所述数据写入所述列中。

作为一个可能的实现方式，所述生成所述数据对应的字段标识，包括：

获取所述数据集合对应的注解信息，所述注解信息包括映射字段；

从所述数据中获取所述映射字段的值；

根据所述映射字段的值，生成所述数据对应的字段标识。

作为一个可能的实现方式，所述注解信息中还包括预设字段；

所述根据所述映射字段的值，生成所述数据对应的字段标识，包括：

将所述预设字段与所述映射字段的值进行拼接，得到所述数据对应的字段标识。