[发明专利]基于Hive的数据处理的方法、系统及终端设备有效
| 申请号： | 201710437410.6 | 申请日： | 2017-06-09 |
| 公开（公告）号： | CN107329852B | 公开（公告）日： | 2020-09-04 |
| 发明（设计）人： | 陶胜 | 申请（专利权）人： | 广州虎牙信息科技有限公司 |
| 主分类号： | G06F11/14 | 分类号： | G06F11/14;G06F16/215;G06F16/22 |
| 代理公司： | 北京市立方律师事务所 11330 | 代理人： | 刘延喜;王增鑫 |
| 地址： | 511442 广东省广州市番禺区南村镇万博二*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于Hive的数据处理的方法、系统及终端设备。所述基于Hive的数据处理的方法，包括：将Hadoop集群数据中的源头数据通过Hive映射为源表，源表包括源头数据中用于描述行数据标记的第一主键字段；将Hadoop集群数据中的由所述源头数据产生的中间数据通过Hive映射为中间表，中间表包括中间数据从源头数据继承的所述第一主键字段；将欲清理的中间数据所对应的中间表中的所述第一主键字段备份到备份表；清理所述欲清理的中间数据及其所对应的中间表。本发明在不删除源头数据的情形下，对中间数据进行有效的备份，既能存储更长时间的源头数据，又能从备份表快速恢复所述已清理的中间数据，保证中间数据的有效利用。 | ||
| 搜索关键词： | 基于 hive 数据处理 方法 系统 终端设备 | ||
【主权项】：
一种基于Hive的数据处理的方法，其特征在于，包括：将Hadoop集群数据中的源头数据通过Hive映射为源表，源表包括源头数据中用于描述行数据标记的第一主键字段；将Hadoop集群数据中的由所述源头数据产生的中间数据通过Hive映射为中间表，中间表包括中间数据从源头数据继承的所述第一主键字段；将欲清理的中间数据所对应的中间表中的所述第一主键字段备份到备份表；清理所述欲清理的中间数据及其所对应的中间表。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广州虎牙信息科技有限公司，未经广州虎牙信息科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710437410.6/，转载请声明来源钻瓜专利网。
