[发明专利]基于DataWorks实现准实时大数据量的处理方法

权利要求书

1.基于DataWorks实现准实时大数据量的处理方法，其特征在于，包括以下步骤：

S1：跳转到指定大数据分析页面，选择需要分析的数据类型、时间范围、条件参数，启动筛选程序一，所述启动筛选程序一分为启动一般需求执行流程和启动特殊需求执行流程，所述启动特殊需求执行流程针对特殊的需求，更加细致地显示对应页面参数；

S2：记录用户输入的参数及操作流程，传用户输入的参数及操作流程信息到向后台程序，后台程序获取用户输入的参数及操作流程信息，实时存储任务参数数据到对应的数据库表，一般需求执行流程将待分析任务的记录状态设置为0，特殊需求执行流程的后台实时存入数据库之前必须先处理对应的条件，将条件整理成更细致、有指向性的条件；

S3：程序二实时监控数据库表，读取新插入的数据信息，向DataWorks中对应的记录分析任务条件的数据库表中插入任务数据信息，唤醒分析任务，依据获取得参数类型，执行分析任务，其中，分析任务为预先编好的程序，在一般需求执行流程时，程序实时监控表中状态为0的数据，有则将数据取出序列化放入消息队列中，以便分析任务能依次执行，不会造成数据交叉，将任务表中状态修改为1，消息队列中的数据依次消费，反序列化消息队列中的数据，获取对应的各种条件信息，将获取到的条件插入到DataWorks对应记录数据分析任务的表中，在特殊需求执行流程的过程时，采用直接从条件中解析出对应基础数据的位置，精准的获取基础数据的方式；

S4：获取分析结果数据信息，发送分析结果数据信息到数据库结果表；

S5：程序实时监控对应数据结果表，查询并获取数据结果表信息，展示数据结果表信息到页面。

2.根据权利要求1所述的基于DataWorks实现准实时大数据量的处理方法，其特征在于，所述步骤S3中，在一般需求执行流程时，将获取到的条件插入到DataWorks对应记录数据分析任务的表中之前先判断程序执行分析任务情况。

3.根据权利要求1所述的基于DataWorks实现准实时大数据量的处理方法，其特征在于，在一般需求执行流程时，分析程序代码逻辑的步骤包括以下步骤：

S101：读取任务表，获得基本的任务数据，其中，任务数据为任务类型、任务名、店铺名数据信息；

S102：整理任务数据参数，解析并获取详细任务的自定义参数，其中，参数为时间、会员等级、过滤黑名单；

S103：获取基础数据信息，其中，基础数据信息为订单、会员、商品数据信息；

S104：依据条件信息，清洗基础数据成对应的分析类型和数据条件范围内的数据样式；

S105：执行具体分析逻辑；

S106：将数据结果返回到数据库对应的表。

4.根据权利要求1所述的基于DataWorks实现准实时大数据量的处理方法，其特征在于，在特殊需求执行流程时，分析程序代码逻辑的步骤包括以下步骤：

S201：获取并拆分任务数据，获得需要的数据源和对应数据源的控制条件；

S202：依据条件，忽略掉不需要的数据，精准地取得分析数据；

S203：依据不同的分析类型，执行不同的分析代码流程；

S204：删除任务数据信息；

S205：获取分析结果信息，导入分析结果信息到数据库。

5.根据权利要求3所述的基于DataWorks实现准实时大数据量的处理方法，其特征在于，所述S105步骤中，所述执行具体分析逻辑由数据分析类型决定。