[发明专利]一种hadoop集群运行ETL的流程分解方法与装置在审
| 申请号： | 202011571984.0 | 申请日： | 2020-12-27 |
| 公开（公告）号： | CN112667719A | 公开（公告）日： | 2021-04-16 |
| 发明（设计）人： | 高东升;梅纲 | 申请（专利权）人： | 武汉达梦数据库股份有限公司 |
| 主分类号： | G06F16/25 | 分类号： | G06F16/25;G06F16/27;G06F16/2458;G06F16/182 |
| 代理公司： | 深圳市六加知识产权代理有限公司 44372 | 代理人： | 向彬 |
| 地址： | 430000 湖北省武汉市东湖新技术开*** | 国省代码： | 湖北;42 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种hadoop集群运行ETL的流程分解方法与装置，基于ETL流程各组件节点构造有向无环图，并搜索有向无环图中的reduce节点；如果搜索到reduce节点，则根据该reduce节点是否有直接数据源形成该reduce节点与其数据源的键值对；根据键值对构造每个reduce节点对应的mapper和reducer，进而构造MRWork；如果搜索不到reduce节点或存在数据源节点关联不到reduce节点，则基于数据源节点及其下游节点构造mapper，进而构造MRWork。本发明将ETL流程提交到hadoop集群环境mapreduce框架并发执行，不破坏流程完整性，编程实现更方便灵活。 | ||
| 搜索关键词： | 一种 hadoop 集群 运行 etl 流程 分解 方法 装置 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于武汉达梦数据库股份有限公司，未经武汉达梦数据库股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202011571984.0/，转载请声明来源钻瓜专利网。
