[发明专利]一种实时ETL系统及方法有效
| 申请号： | 201510425219.0 | 申请日： | 2015-07-17 |
| 公开（公告）号： | CN105069029B | 公开（公告）日： | 2019-01-29 |
| 发明（设计）人： | 林劼;李虹峰;郝玉洁;廖虹光 | 申请（专利权）人： | 电子科技大学 |
| 主分类号： | G06F16/25 | 分类号： | G06F16/25 |
| 代理公司： | 成都金英专利代理事务所(普通合伙) 51218 | 代理人： | 袁英 |
| 地址： | 610041 四川省成*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种实时ETL系统及方法，包括ETL客户端、分布式数据缓存队列、分布式状态管理机和ETL群集；所述ETL客户端，用于设计ETL流程、测试ETL流程和发布ETL流程；所述分布式数据缓存队列，用于缓存输入数据；所述分布式状态管理机，用于存储系统状态信息；所述ETL群集，用于按行从数据源获取输入数据，并将输入数据缓存到分布式数据缓存队列中，然后对输入数据进行处理。本发明具有很高的效率，能够解决目前ETL技术应用在实时大数据环境下的局限性问题。 | ||
| 搜索关键词： | 一种 实时 etl 系统 方法 | ||
【主权项】：
1.一种实时ETL系统，其特征在于：包括ETL客户端、分布式数据缓存队列、分布式状态管理机和ETL群集；所述ETL客户端，用于设计ETL流程、测试ETL流程和发布ETL流程，还用于创建每个数据源的分布式数据缓存队列，发送ETL流程的输入数据的元数据信息和分布式数据缓存队列信息到分布式状态管理机；所述分布式数据缓存队列，用于缓存输入数据；分布式数据缓存队列用于缓存一段时间期限内的实时输入数据，当发生ETL节点失效时，ETL流程可以从该分布式数据缓存队列中重新获取输入数据；所述分布式状态管理机，用于存储系统状态信息，还用于ETL系统运行时各部件之间的状态信息交换，所述系统状态信息包括输入数据的元数据和当前的分布式数据缓存队列；所述ETL群集，用于按行从数据源获取输入数据，并将输入数据缓存到分布式数据缓存队列中，然后对输入数据进行处理。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于电子科技大学，未经电子科技大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201510425219.0/，转载请声明来源钻瓜专利网。
