[发明专利]基于CarbonData的增量数据收敛更新方法及其系统有效

专利信息
申请号: 201811582204.5 申请日: 2018-12-24
公开(公告)号: CN109739881B 公开(公告)日: 2022-09-20
发明(设计)人: 连城;孙而焓;杨逸栩;郭海涛 申请(专利权)人: 中电福富信息科技有限公司
主分类号: G06F16/2453 分类号: G06F16/2453;G06F16/23;G06F16/2457
代理公司: 福州君诚知识产权代理有限公司 35211 代理人: 林世庭
地址: 350000 福建省福州*** 国省代码: 福建;35
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 carbondata 增量 数据 收敛 更新 方法 及其 系统
【权利要求书】:

1.基于CarbonData的增量数据收敛更新方法,其特征在于:其包括以下步骤:

步骤1,增量数据落地模块将增量数据进行识别处理后落地至待做目录中,在元数据表新增一条记录;步骤1的具体步骤如下:

步骤1.1,当增量数据为于消息流格式的增量时,增量数据落地模块进行消息流格式增量数据处理,具体步骤为:

步骤1.1.1,对于消息流格式的增量,增量数据落地模块消费一批消息并转成CSV文件格式的增量文件写到temp临时目录,

步骤1.1.2,CSV文件生成完整后根据业务需要将临时目录的文件进行合并或分拆并依次移到待做目录;

步骤1.2,当增量数据为文件格式的增量时,增量数据落地模块直接把文件格式的增量数据存储到待做目录;

步骤1.3,增量数据落地至待做目录后,增量数据落地模块在元数据表新增一条记录;

步骤2,新增记录后触发元数据表预设的触发器,触发器在数据增量收敛更新模块的调度功能上新增一条任务;

步骤3,数据增量收敛更新模块获取调度任务,并以触发型任务优先原则进行确定当前任务类型;

步骤4,根据当前任务类型进行任务逻辑处理,将增量文件移动到add目录;

步骤5,执行收敛更新的sql语句将增量文件收敛更新到全量数据;

步骤6,完成增量数据收敛更新后将对应记录恢复成未占用状态并修改该记录对应字段内容信息。

2.根据权利要求1所述的基于CarbonData的增量数据收敛更新方法,其特征在于:步骤1.1.2中CSV文件生成完整后按照设定的时间间隔或文件大小阈值将临时目录的文件进行合并或分拆。

3.根据权利要求1所述的基于CarbonData的增量数据收敛更新方法,其特征在于:步骤2中将新生成的增量文件分配给触发型任务优先处理。

4.根据权利要求1所述的基于CarbonData的增量数据收敛更新方法,其特征在于:步骤3中调用数据增量收敛更新模块的执行主函数判断执行触发型任务或者定时任务。

5.根据权利要求1所述的基于CarbonData的增量数据收敛更新方法,其特征在于:步骤3具体包括以下步骤:

步骤3.1,判断是否为触发型任务,是则,以触发型任务作为当前任务类型进行调度任务处理;否则,执行步骤3.2;

步骤3.2,判断是否为定时任务,是则,以定时任务作为当前任务类型进行调度任务处理;否则,结束并退出。

6.根据权利要求1所述的基于CarbonData的增量数据收敛更新方法,其特征在于:步骤4中任务逻辑处理步骤如下:

步骤4.1,查询元数据表,找到符合条件的结果集,结果集包括状态参数,状态参数包括定时任务标识、触发型任务标识和执行状态参数;

步骤4.2,判断结果集是否为空或除当前任务类型的标识是否为true;是则,结束并退出;

步骤4.3,将当前任务类型的标识设为true,更新状态参数并将增量文件移动到add目录;

步骤4.4,判断文件移动是否成功,是则,更新状态参数并执行步骤5;否则,结束并退出。

7.根据权利要求6所述的基于CarbonData的增量数据收敛更新方法,其特征在于:步骤4.4中修改状态参数包括将结束时间写入批次执行元数据表,并标识为已更新。

8.根据权利要求1所述的基于CarbonData的增量数据收敛更新方法,其特征在于:步骤6的具体步骤为:判断收敛更新是否出错;是则,将当前任务类型的标识设为false并结束退出;否则,将当前任务类型的标识设为false并将文件移动到trash目录后结束退出。

9.基于CarbonData的增量数据收敛更新系统,采用权利要求1所述的基于CarbonData的增量数据收敛更新方法;其特征在于:其包括增量数据落地模块、元数据表管理模块和数据增量收敛更新模块;

增量数据落地模块用于接收和识别增量数据后输出CSV格式的增量文件落地至待做目录中,并在元数据表新增一条记录;

元数据表管理模块:用于管理元数据表,并在元数据表新增记录时通过预设的触发器在数据增量收敛更新模块新增一条调度任务,元数据表存储有每个增量文件的状态参数;

数据增量收敛更新模块;用于识别并执行调度任务,并基于触发型任务优先的原则将待做目录中增量文件收敛更新到全量数据。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中电福富信息科技有限公司,未经中电福富信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201811582204.5/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top