[发明专利]基于DataWorks实现准实时大数据量的处理方法

说明书

本发明公开了一种基于DataWorks实现准实时大数据量的处理方法，包括以下步骤：选择需要分析的数据，启动筛选程序一；实时存储任务参数数据到对应的数据库表；程序二实时监控数据库表，读取新插入的数据信息，向DataWorks中对应的记录分析任务条件的数据库表中插入任务数据信息，执行分析任务；发送分析结果数据信息到数据库结果表；程序实时监控对应数据结果表，查询并获取数据结果表信息，展示数据结果表信息到页面。通过该方法，降低了开发成本、运维成本；达到了用户至用户的闭环式数据分析，中间再无程序员参与；一套流程两种执行方式，使程序更加的贴合实际、更加高效执行分析任务；给用户带来实际的大数据体验效果。

技术领域

本发明涉及数据处理技术领域，具体来说，涉及一种基于DataWorks实现准实时大数据量的处理方法。

背景技术

现今社会，大数据的应用越来越彰显它的优势。然而用代码实现分析大数据的逻辑不够便捷，维护麻烦且易出问题。使用阿里云大数据处理平台，给企业带来了很大的便捷，降低了企业处理大数据的门槛。如何使用阿里云大数据处理平台准确快速便捷的处理大量数据，给企业处理大数据的方式带来了机遇和考验。

使用阿里云 DataWorks开发分析大数据极大提高了大数据开发以及分析的效率，并且维护方便；但是客户的需求是多变的，按客户的需求习惯提前开发好大数据的分析逻辑，跑出对应的分析结果已经不能满足客户的需求；如果单独为客户开发出其需求对应的数据处理逻辑，既费时费力且开发出的逻辑利用率低；如何让客户自定义需求条件，阿里云数据分析平台根据客户自定义的需求条件自动完成大数据的分析成为企业需要解决的问题。

发明内容

针对相关技术中的上述技术问题，本发明提出一种基于DataWorks实现准实时大数据量的处理方法，能够克服现有技术的上述不足。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种基于DataWorks实现准实时大数据量的处理方法，该方法包括以下步骤：

S1：跳转到指定大数据分析页面，选择需要分析的数据类型、时间范围、条件参数，启动筛选程序一；

S2：记录用户输入的参数及操作流程，传用户输入的参数及操作流程信息到向后台程序，后台程序获取用户输入的参数及操作流程信息，实时存储任务参数数据到对应的数据库表；

S3：程序二实时监控数据库表，读取新插入的数据信息，向 DataWorks中对应的记录分析任务条件的数据库表中插入任务数据信息，唤醒分析任务，依据获取得参数类型，执行分析任务，其中，分析任务为预先编好的程序；

S4：获取分析结果数据信息，发送分析结果数据信息到数据库结果表；

S5：程序实时监控对应数据结果表，查询并获取数据结果表信息，展示数据结果表信息到页面。

进一步的，所述步骤S1中，所述启动筛选程序分为启动一般需求执行流程和启动特殊需求执行流程。

进一步的，所述启动特殊需求执行流程针对特殊的需求，更加细致地显示对应页面参数。

进一步的，所述步骤S2中，一般需求执行流程将待分析任务的记录状态设置为0；特殊需求执行流程的后台实时存入数据库之前必须先处理对应的条件，将条件整理成更细致、有指向性的条件。