[发明专利]数据处理方法、装置、电子设备及存储介质

说明书

本发明提供了一种数据处理方法、装置、电子设备及存储介质，涉及软件开发技术领域。所述方法包括：接收待处理数据，其中，待处理数据是由数据采集模块从业务服务器中采集得到的；若待处理数据包括第一格式数据，将第一格式数据转化为第二格式数据；对待处理数据进行数据处理，以得到待存储数据；将待存储数据存储至数据处理模块的实时数据库。因此，能够解决因相关技术中业务服务器中数据量大，数据格式不一致，而导致数据无法统一调度以及统一处理的问题。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

在一个实际的企业场景下，如果做一个数据融合系统，就不可避免要面临几方面的挑战：

第一，动态性：因为数据源会不断地发生变化，数据处理系统需要有一些相应的策略来提供可以动态变化的表结构、表的增减。

第二，可伸缩性：任何一个分布式系统，必须要提供可伸缩性。因为系统不是只同步一张表，通常会有大量数据同步任务在进行着。如何在一个集群或多个集群中进行统一的调度，保证任务并行执行的效率，是一个要解决的基本问题。

第三，容错性：任何环境都不能假定服务器是永远在正常运行的，网络、磁盘、内存都有可能发生故障。也是数据处理系统需要考虑的关键问题。

第四，异构性：在一个数据融合项目中，由于源和目的地是不一样的，比如，源是MySQL，目的地是Oracle，可能它们对于一个字段类型定义的标准是有差别的。在同步时，如果忽略这些差异，就会造成一系列的问题。

第五，一致性：一致性是数据融合中最基本的问题，即使不考虑数据同步的速度，也要保证数据一致。数据一致性的底线为：数据先不丢，如果丢了一部分，通常会导致业务无法使用。

针对上述相关技术中因业务服务器中数据量大，数据格式不一致，而导致数据无法统一调度以及统一处理的问题，目前尚未提出有效的解决技术手段。

发明内容

本发明实施例提供一种数据处理方法、装置、电子设备及存储介质，以解决相关技术中业务服务器中数据量大，数据格式不一致，而导致数据无法统一调度以及统一处理的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种数据处理方法，所述方法包括：接收待处理数据，其中，所述待处理数据是由数据采集模块从业务服务器中采集得到的；若所述待处理数据包括第一格式数据，将所述第一格式数据转化为第二格式数据；对所述待处理数据进行数据处理，以得到待存储数据；将所述待存储数据存储至数据处理模块的实时数据库。

进一步地，在将所述待存储数据存储至数据处理模块的实时数据库之后，还包括：接收对所述实时数据库中的数据查询请求，其中，所述数据查询请求是由数据查询展示模块发送至所述数据处理模块的；将所述数据查询请求对应的查询结果发送至所述数据查询展示模块。

进一步地，在接收待处理数据之后，还包括：将所述待处理数据存储至所述数据处理模块的离线数据库中。

进一步地，若所述待处理数据包括第一格式数据，将所述第一格式数据转化为第二格式数据，包括：通过所述数据处理模块的语法引擎确定所述待处理数据中的数据格式；若所述待处理数据包括第一格式数据，通过所述语法引擎将所述第一格式数据转化为第二格式数据。

进一步地，对所述待处理数据进行数据处理，以得到待存储数据，包括：通过所述数据处理模块的规则引擎判断所述待处理数据是否符合预设规则；在所述待处理数据不符合所述预设规则的情况下，对所述待处理数据进行数据处理，以得到待存储数据；在所述待处理数据符合所述预设规则的情况下，确定所述待处理数据为所述待存储数据。