[发明专利]基于CarbonData的增量数据收敛更新方法及其系统有效
申请号: | 201811582204.5 | 申请日: | 2018-12-24 |
公开(公告)号: | CN109739881B | 公开(公告)日: | 2022-09-20 |
发明(设计)人: | 连城;孙而焓;杨逸栩;郭海涛 | 申请(专利权)人: | 中电福富信息科技有限公司 |
主分类号: | G06F16/2453 | 分类号: | G06F16/2453;G06F16/23;G06F16/2457 |
代理公司: | 福州君诚知识产权代理有限公司 35211 | 代理人: | 林世庭 |
地址: | 350000 福建省福州*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 carbondata 增量 数据 收敛 更新 方法 及其 系统 | ||
1.基于CarbonData的增量数据收敛更新方法,其特征在于:其包括以下步骤:
步骤1,增量数据落地模块将增量数据进行识别处理后落地至待做目录中,在元数据表新增一条记录;步骤1的具体步骤如下:
步骤1.1,当增量数据为于消息流格式的增量时,增量数据落地模块进行消息流格式增量数据处理,具体步骤为:
步骤1.1.1,对于消息流格式的增量,增量数据落地模块消费一批消息并转成CSV文件格式的增量文件写到temp临时目录,
步骤1.1.2,CSV文件生成完整后根据业务需要将临时目录的文件进行合并或分拆并依次移到待做目录;
步骤1.2,当增量数据为文件格式的增量时,增量数据落地模块直接把文件格式的增量数据存储到待做目录;
步骤1.3,增量数据落地至待做目录后,增量数据落地模块在元数据表新增一条记录;
步骤2,新增记录后触发元数据表预设的触发器,触发器在数据增量收敛更新模块的调度功能上新增一条任务;
步骤3,数据增量收敛更新模块获取调度任务,并以触发型任务优先原则进行确定当前任务类型;
步骤4,根据当前任务类型进行任务逻辑处理,将增量文件移动到add目录;
步骤5,执行收敛更新的sql语句将增量文件收敛更新到全量数据;
步骤6,完成增量数据收敛更新后将对应记录恢复成未占用状态并修改该记录对应字段内容信息。
2.根据权利要求1所述的基于CarbonData的增量数据收敛更新方法,其特征在于:步骤1.1.2中CSV文件生成完整后按照设定的时间间隔或文件大小阈值将临时目录的文件进行合并或分拆。
3.根据权利要求1所述的基于CarbonData的增量数据收敛更新方法,其特征在于:步骤2中将新生成的增量文件分配给触发型任务优先处理。
4.根据权利要求1所述的基于CarbonData的增量数据收敛更新方法,其特征在于:步骤3中调用数据增量收敛更新模块的执行主函数判断执行触发型任务或者定时任务。
5.根据权利要求1所述的基于CarbonData的增量数据收敛更新方法,其特征在于:步骤3具体包括以下步骤:
步骤3.1,判断是否为触发型任务,是则,以触发型任务作为当前任务类型进行调度任务处理;否则,执行步骤3.2;
步骤3.2,判断是否为定时任务,是则,以定时任务作为当前任务类型进行调度任务处理;否则,结束并退出。
6.根据权利要求1所述的基于CarbonData的增量数据收敛更新方法,其特征在于:步骤4中任务逻辑处理步骤如下:
步骤4.1,查询元数据表,找到符合条件的结果集,结果集包括状态参数,状态参数包括定时任务标识、触发型任务标识和执行状态参数;
步骤4.2,判断结果集是否为空或除当前任务类型的标识是否为true;是则,结束并退出;
步骤4.3,将当前任务类型的标识设为true,更新状态参数并将增量文件移动到add目录;
步骤4.4,判断文件移动是否成功,是则,更新状态参数并执行步骤5;否则,结束并退出。
7.根据权利要求6所述的基于CarbonData的增量数据收敛更新方法,其特征在于:步骤4.4中修改状态参数包括将结束时间写入批次执行元数据表,并标识为已更新。
8.根据权利要求1所述的基于CarbonData的增量数据收敛更新方法,其特征在于:步骤6的具体步骤为:判断收敛更新是否出错;是则,将当前任务类型的标识设为false并结束退出;否则,将当前任务类型的标识设为false并将文件移动到trash目录后结束退出。
9.基于CarbonData的增量数据收敛更新系统,采用权利要求1所述的基于CarbonData的增量数据收敛更新方法;其特征在于:其包括增量数据落地模块、元数据表管理模块和数据增量收敛更新模块;
增量数据落地模块用于接收和识别增量数据后输出CSV格式的增量文件落地至待做目录中,并在元数据表新增一条记录;
元数据表管理模块:用于管理元数据表,并在元数据表新增记录时通过预设的触发器在数据增量收敛更新模块新增一条调度任务,元数据表存储有每个增量文件的状态参数;
数据增量收敛更新模块;用于识别并执行调度任务,并基于触发型任务优先的原则将待做目录中增量文件收敛更新到全量数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中电福富信息科技有限公司,未经中电福富信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811582204.5/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置