[发明专利]数据处理方法、装置、电子设备及计算机可读存储介质

说明书

本公开实施例公开了一种数据处理方法、装置、电子设备及计算机可读存储介质，所述方法包括：获取对关系型数据库的当前操作；确定所述当前操作涉及的操作信息；将所述操作信息缓存到消息队列中；利用flume引擎从所述消息队列中实时获取所述操作信息，并将其传送至非关系型数据库中进行存储。该技术方案实现了非关系型数据库与关系型数据库之间同步的实时性，为用户提供了能够进行交互性查询的实时数据平台。

技术领域

本公开涉及计算机技术领域，具体涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。

背景技术

与用户交互的web系统中，线上业务数据通常存放在关系型数据库中，因此，传统关系型数据库里面的数据具有极高的价值，但是关系型数据库不支持大规模的数据分析查询操作，也不支持大数据领域的海量数据的分析工作，因此需要将数据从关系型数据库迁移到非关系型数据库中，建立数据模型，进而做进一步的数据分析工作。

发明内容

本公开实施例提供一种数据处理方法、装置、电子设备及计算机可读存储介质。

第一方面，本公开实施例中提供了一种数据处理方法。

具体的，所述数据处理方法，包括：

获取对关系型数据库的当前操作；

确定所述当前操作涉及的操作信息；

将所述操作信息缓存到消息队列中；

利用flume引擎从所述消息队列中实时获取所述操作信息，并将其传送至非关系型数据库中进行存储。

结合第一方面，本公开在第一方面的第一种实现方式中，获取对关系型数据库的当前操作，包括：

响应于对所述关系型数据库的数据增加、数据修改和数据删除中的任意一个，获取所述当前操作。

结合第一方面，本公开在第一方面的第二种实现方式中，确定所述当前操作涉及的操作信息，包括：

解析所述当前操作，确定所述当前操作对应的操作类型和/或数据源；

将所述操作类型和/或数据源封装成标准格式。

结合第一方面，本公开在第一方面的第三种实现方式中，将所述操作信息缓存到消息队列中，包括：

将所述操作信息缓存到Kafka消息队列中。

结合第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，包括：

配置所述flume引擎，以将所述KaFka消息队列作为所述flume引擎的数据源。。

结合第一方面的第三种实现方式或第一方面的第四种实现方式，本公开在第一方面的第五种实现方式中，所述非关系型数据库为kudu数据库，还包括：

配置所述flume引擎，以将所述kudu数据库作为所述flume引擎的数据终点。。

结合第一方面的第五种实现方式，本公开在第一方面的第六种实现方式中，包括：

在所述flume引擎中添加所述kudu数据库的操作API；

并将所述flume引擎的数据终点配置为所述操作API。

第二方面，本公开实施例提供了一种数据处理装置，包括：

获取模块，被配置为获取对关系型数据库的当前操作；

确定模块，被配置为确定所述当前操作涉及的操作信息；

缓存模块，被配置为将所述操作信息缓存到消息队列中；