[发明专利]基于Hive的并行执行任务方法及装置有效
| 申请号： | 201410182326.0 | 申请日： | 2014-04-30 |
| 公开（公告）号： | CN103942099B | 公开（公告）日： | 2017-11-28 |
| 发明（设计）人： | 张永亮 | 申请（专利权）人： | 广州唯品会网络技术有限公司 |
| 主分类号： | G06F9/46 | 分类号： | G06F9/46;G06F17/30 |
| 代理公司： | 广州市越秀区哲力专利商标事务所(普通合伙)44288 | 代理人： | 汤喜友 |
| 地址： | 510370 广东省广*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及基于Hive的并行执行任务方法及装置。该方法包括运行Hive脚本；识别出流程控制标签的顺序标记；将所有顺序标记进行比对，以得到代码段的执行顺序；根据所述执行顺序执行代码段，其中，对顺序标记相同的代码段进行并行执行。本发明可以让开发者自由地控制Hive脚本中各个代码段之间的并行和串行关系，大幅度的提高了Hive脚本的执行效率，而且更加充分地利用Hadoop集群的计算能力。 | ||
| 搜索关键词： | 基于 hive 并行 执行 任务 方法 装置 | ||
【主权项】：
基于Hive的并行执行任务方法，其特征在于，包括以下步骤：步骤1、运行Hive脚本，所述Hive脚本中具有多条代码段；步骤2、判断所述Hive脚本中存在启动执行命令还是模拟执行命令，若为启动执行命令，则对步骤3至步骤5进行启动执行；若为模拟执行命令，则对步骤3至步骤5进行模拟执行，并生成执行结果；步骤3、识别出流程控制标签的顺序标记，所述流程控制标签位于所述Hive脚本中，并且每一个流程控制标签与对应的一代码段关联；步骤4、将所有顺序标记进行比对，以得到代码段的执行顺序；步骤5、根据所述执行顺序执行代码段，其中，对顺序标记相同的代码段进行并行执行。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广州唯品会网络技术有限公司，未经广州唯品会网络技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201410182326.0/，转载请声明来源钻瓜专利网。
- 上一篇：一种用于联合收割机的导轨
- 下一篇：过滤式可调减压阀
