[发明专利]数据处理方法及装置、存储介质及电子终端

说明书

本公开涉及计算机技术领域，具体涉及一种数据处理方法、一种数据处理装置、一种存储介质以及一种电子终端。所述方法包括：接收数据生产端上传的待处理数据；其中，所述待处理数据包含数据类型标识；基于所述数据类型标识将第一类型数据保存至数据库，以及将第二类型数据保存至任务表；由所述数据库中提取第一类型数据并进行数据解析，以根据数据解析结果将数据主键保存至redis数据库队列中，将对应的数据保存至redis数据库键值对中；响应于服务启动指令，由所述redis数据库队列中获取目标数据主键，以基于所述目标数据主键批量拉取对应的数据，并执行拉取的所述数据。本公开的方案能够支持百万级TPS读取。

技术领域

本公开涉及计算机技术领域，具体涉及一种数据处理方法、一种数据处理装置、一种存储介质以及一种电子终端。

背景技术

随着互联网技术的快速发展，出现越来越多的高流量、高并发的应用场景。例如，在商家促销、购物节的时间段内，商家和用户数量众多，数据量庞大，交易过程中产生的数据量可能是平时的数倍。在面对高流量、高并发的应用场景时，一般采用配置更多机房、多集群应用部署的方式，将所需要的数据尽可能加载到系统内存中，在流量洪峰来临时直接进行内存计算。

现有技术在进行数据拉取时，一般采用消息队列、RPC拉取或者Zookeeper(分布式服务)的方法。但这样的方式均存在一定的缺陷，例如，使用消息队列时，无法进行批量处理，数据量多，更新频繁时只能一条一条处理。处理速度较慢，容易造成数据积压。Zookeeper并不能很好的适用大型文件和对象，当数据变更频繁，多客户端的情况下数据压力会急剧增大。而RPC拉取的方法则很容易拉取到多余数据，很难进行差异性区分。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种数据处理方法、一种数据处理装置、一种存储介质以及一种电子终端，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种数据处理方法，包括：接收数据生产端上传的待处理数据；其中，所述待处理数据包含数据类型标识；

基于所述数据类型标识将第一类型数据保存至数据库，以及将第二类型数据保存至任务表；

由所述数据库中提取所述任务表并进行数据解析，以根据数据解析结果将数据主键保存至redis数据库队列中，将对应的数据保存至redis数据库键值对中；

响应于服务启动指令，由所述redis数据库队列中获取目标数据主键，以基于所述目标数据主键批量拉取对应的数据，并执行拉取的所述数据。

在本公开的一种示例性实施例中，所述方法还包括：

所述数据生产端对目标数据进行解析以对所述目标数据进行分类，并对所述目标数据分类结果配置数据类型标识以生成所述待处理数据。

在本公开的一种示例性实施例中，所述基于所述数据类型标识将第一类型数据保存至数据库之前，所述方法还包括：

为所述第一类型数据配置事物标识信息，以用于将配置有相同事物标识信息的所述第一类型数据全部写入所述数据中。

在本公开的一种示例性实施例中，所述基于所述数据类型标识将第一类型数据保存至数据库，以及将第二类型数据保存至任务表时，所述方法还包括：

为所述第一类型数据和所述第二类型数据配置数据调用监控任务，以用于监控是否存在远程数据调用任务；

在识别到所述远程数据调用任务时，阻断所述远程数据调用任务并生成调用提示信息。