[发明专利]一种基于DAG的面向多计算框架的数据处理方法及系统在审
| 申请号： | 201710295064.2 | 申请日： | 2017-04-28 |
| 公开（公告）号： | CN107273193A | 公开（公告）日： | 2017-10-20 |
| 发明（设计）人： | 木伟民;张云;李名扬;金宗泽;王伟平 | 申请（专利权）人： | 中国科学院信息工程研究所 |
| 主分类号： | G06F9/48 | 分类号： | G06F9/48 |
| 代理公司： | 北京君尚知识产权代理事务所(普通合伙)11200 | 代理人： | 司立彬 |
| 地址： | 100093 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于DAG的面向多计算框架的数据处理方法及系统。本方法为1)用户根据目标计算场景选取算子生成该目标计算场景；然后向管理器发送保存场景信息的请求；2)管理器将场景信息保存到场景表中；当收到该目标计算场景的执行请求后，读取该场景表生成包含该目标计算场景信息的作业并发送给调度器；3)调度器根据收到的作业生成对应的算子DAG并验证；对于验证通过的算子生成子作业DAG；然后根据生成的子作业DAG确定每一执行阶段并将其发送给执行器；4)执行器将调度器下发的每一执行阶段的子作业解释为该计算框架下的计算逻辑并触发计算；然后将计算结果提交给调度器。本发明提高了计算框架的计算效率。 | ||
| 搜索关键词： | 一种 基于 dag 面向 计算 框架 数据处理 方法 系统 | ||
【主权项】：
一种基于DAG的面向多计算框架的数据处理方法，其步骤为：1)用户根据目标计算场景选取算子，然后对选取的算子的输入输出进行连接并配置相应的参数，得到该目标计算场景；然后向管理器发送保存场景信息的请求；2)管理器接收该请求，将场景信息保存到场景表中；管理器收到该目标计算场景的执行请求后，读取该场景表生成包含该目标计算场景信息的作业并发送给调度器；3)调度器根据收到的作业生成对应的算子DAG并验证；对于算子DAG验证通过的算子生成子作业DAG；然后根据生成的子作业DAG确定每一执行阶段并将其发送给执行器；4)执行器对选定的计算框架进行适配，然后将调度器下发的每一执行阶段的子作业解释为该计算框架下的计算逻辑并触发计算；然后将计算结果提交给调度器。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国科学院信息工程研究所，未经中国科学院信息工程研究所许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710295064.2/，转载请声明来源钻瓜专利网。
- 上一篇：一种产品交易的推进方法、服务器及系统
- 下一篇：任务执行方法和终端设备
