[发明专利]大数据处理方法、大数据处理系统及存储介质

说明书

本申请提供一种大数据处理方法、大数据处理系统及存储介质，该大数据处理方法应用于大数据处理系统，大数据处理系统包括负载均衡系统、数据监控系统和数据处理系统，大数据处理方法包括：负载均衡系统获取待处理数据；数据处理系统执行数据处理任务对待处理数据进行处理，以得到产出数据；在数据处理系统对待处理数据进行处理时，数据监控系统按预设周期获取数据处理任务的当前状态；若数据处理任务的当前状态为运行中状态，则数据监控系统判断数据处理任务执行是否出错；若数据监控系统判断数据处理任务出错，则数据监控系统以预设方式进行告警。本申请可以避免数据处理任务执行失败。

技术领域

本申请主要涉及大数据处理技术领域，具体涉及一种大数据处理方法、大数据处理系统及存储介质。

背景技术

大数据存储与计算是相对前沿的技术，技术基础相对成熟，大数据目前在保险、银行、互联网等领域应用较多，但在游戏领域特别超休闲小游戏领域应用较少或不够深入。并且，现有技术中，在数据处理过程中没有任务告警功能，不能及时发现数据处理任务异常，导致数据处理任务执行容易失败。

发明内容

本申请提供一种大数据处理方法、大数据处理系统及存储介质，旨在解决现有技术中数据处理任务执行容易失败的问题。

第一方面，本申请提供一种大数据处理方法，应用于大数据处理系统，所述大数据处理系统包括负载均衡系统、数据监控系统和数据处理系统，所述大数据处理方法包括：

所述负载均衡系统获取待处理数据；

所述数据处理系统执行数据处理任务对所述待处理数据进行处理，以得到产出数据；

在所述数据处理系统对所述待处理数据进行处理时，所述数据监控系统按预设周期获取所述数据处理任务的当前状态；

若所述数据处理任务的当前状态为运行中状态，则所述数据监控系统判断数据处理任务执行是否出错；

若所述数据监控系统判断数据处理任务出错，则所述数据监控系统以预设方式进行告警。

可选地，所述大数据处理方法，包括：

若所述数据监控系统判断数据处理任务未出错，则所述数据处理系统继续执行数据处理任务，并获取所述数据处理任务的运行时间；

所述数据监控系统判断所述数据处理任务的运行时间是否超过预设时间；

若所述数据处理任务的运行时间超过所述预设时间，则所述数据监控系统以预设方式进行告警。

可选地，所述大数据处理系统包括元数据管理系统，所述大数据处理方法包括：

获取所述产出数据的创建信息、创建用户、备注信息、源表以及目标表；

将所述产出数据的创建信息、创建用户、备注信息、源表以及目标表存储在元数据管理系统。

可选地，所述负载均衡系统获取待处理数据，包括：

所述负载均衡系统判断用户是否登录成功；

若所述负载均衡系统判断用户登录成功，则获取待处理数据。

可选地，所述大数据处理系统包括数据质量系统，所述大数据处理方法包括：

在所述数据处理系统对所述待处理数据进行处理时，所述数据质量系统判断数据库分区表中是否存在产出数据；

若所述数据库分区表中存在产出数据；则所述数据质量系统判断数据库分区表中的产出数据相比历史同一周期的数据量波动是否超过预设值；

若所述数据库分区表中的产出数据相比历史同一周期的数据量波动超过预设值，则判断所述产出数据异常，所述数据质量系统将数据质量异常的信息以预设方式进行告警。