[发明专利]一种数据处理方法、装置、计算机设备及存储介质

说明书

本发明公开了一种数据处理方法、装置、计算机设备及存储介质，该方法包括：解析第一数据表，识别出第一字段及第二字段，并获取所述第一字段的第一字段值以及第二字段的第二字段值，所述第一数据表包括二维表，根据所述第一字段值生成第一键值，根据所述第二字段生成第二键值，根据所述第二字段值生成数据值，根据所述第一键值、第二键值以及所述数据值生成第二数据表，并将所述第二数据表存储至关系型数据库中，以便根据所述第一键值以及第二键值查询所述数据值，通过在物理层按照键值对存放数据，从而实现各个列的数据可以按照键值对的方式独立更新，每个单独的任务可以独立并行的方式向表中插入数据，减少了任务之间的耦合性。

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据处理方法、装置、计算机设备及存储介质。

背景技术

随着大数据的发展和普及，目前各企业都有自己的画像系统。如为每个主体(如会员)打上各种标签，然后下一步基于标签做主体的各种维度画像分析，大大的提高了对数据的利用效率。如会员标签就提供了会员的分析和支撑营销数据工作。但是这种标签都是基于数据仓库的各种零散的数据源加工计算后汇总为一张或者少数几张宽表，以方便下游系统使用这些经过高度集成化的数据；由于这样的画像体系具有的“功能零散”和“数据源分散”的现实原因，导致为每个会员打上标签，然后再汇总成一张字段很多的表的过程非常难以设计、控制和保证加工效率等。

目前常见的关系型数据库的表存储方式基本为行存储或者列存储。但不管是哪种存储方式，对于数据的更新都是按照行的效果进行读写，特别像Hive这种适合海量数据分析，但是对数据的更新不是很友好的数据库。对于一张字段很多的表，以大数据行业的常见画像数据为例，一个表有时会涉及到上千个字段更新数据是一件很麻烦的事情。

因此，亟需提出一种新的数据处理方法，以解决上述问题。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种数据处理方法、装置、计算机设备以及存储介质，以克服现有技术中存在的问题。

为解决上述一个或多个技术问题，本发明采用的技术方案是：

第一方面，提供了一种数据处理方法，该方法包括如下步骤：

解析第一数据表，识别出第一字段及第二字段，并获取所述第一字段的第一字段值以及第二字段的第二字段值，所述第一数据表包括二维表；

根据所述第一字段值生成第一键值，根据所述第二字段生成第二键值，根据所述第二字段值生成数据值；

根据所述第一键值、第二键值以及所述数据值生成第二数据表，并将所述第二数据表存储至关系型数据库中，以便根据所述第一键值以及第二键值查询所述数据值。

在一些实施例中，所述方法还包括：

接收待处理数据，根据所述待处理数据以及预设规则生成第一数据表，所述第一数据表包括第一字段和对应的第一字段值以及第二字段和对应的第二字段值。

在一些实施例中，所述方法还包括：

接收并解析数据处理请求，获取所述数据处理请求对应的数据表类型，所述数据表类型包括二维表和/或键值对表；

根据所述数据表类型确定目标数据表，所述目标数据表包括第一数据表和第二数据表；

根据所述数据处理请求对所述目标数据表中的数据进行处理。

在一些实施例中，所述数据处理请求包括数据读请求，所述根据所述数据处理请求对所述目标数据表中的数据进行处理包括：

根据所述数据读请求从所述目标数据表中获取目标数据，并将所述目标数据返回给数据请求方。

在一些实施例中，所述数据处理请求还包括数据更新请求，所述根据所述数据处理请求对所述目标数据表中的数据进行处理包括：