[发明专利]Spark程序优化方法和装置有效
申请号: | 201611024844.5 | 申请日: | 2016-11-21 |
公开(公告)号: | CN106557368B | 公开(公告)日: | 2020-04-03 |
发明(设计)人: | 贾宏超 | 申请(专利权)人: | 东软集团股份有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06Q10/04 |
代理公司: | 北京英创嘉友知识产权代理事务所(普通合伙) 11447 | 代理人: | 魏嘉熹;南毅宁 |
地址: | 110179 辽*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本公开涉及一种Spark程序优化方法和装置,其能够对用户提交的任务中的操作顺序进行优化。该方法包括:识别Spark任务流程中的过滤操作;在所识别的过滤操作紧邻的上一步操作满足第一预设条件时,将所识别的过滤操作与其紧邻的上一步操作互换位置。 | ||
搜索关键词: | spark 程序 优化 方法 装置 | ||
【主权项】:
一种Spark程序优化方法,其特征在于,该方法包括:识别Spark任务流程中的过滤操作;在所识别的过滤操作紧邻的上一步操作满足第一预设条件时,将所识别的过滤操作与其紧邻的上一步操作互换位置。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东软集团股份有限公司,未经东软集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201611024844.5/,转载请声明来源钻瓜专利网。
- 上一篇:一种大数据任务调度的系统以及方法
- 下一篇:一种多线程的管理方法及系统