[发明专利]任务处理方法、装置、设备、存储介质以及程序产品在审
申请号: | 202211568696.9 | 申请日: | 2022-12-07 |
公开(公告)号: | CN115794262A | 公开(公告)日: | 2023-03-14 |
发明(设计)人: | 刘桐仁 | 申请(专利权)人: | 百度(中国)有限公司 |
主分类号: | G06F9/448 | 分类号: | G06F9/448;G06F9/54 |
代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 刘凡凡 |
地址: | 200041 上海市浦东新区张*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 任务 处理 方法 装置 设备 存储 介质 以及 程序 产品 | ||
1.一种任务处理方法,包括:
响应于接收到针对目标任务处理逻辑的待处理数据流,根据第一拓扑关系,利用与目标任务子逻辑相关的目标算子,对所述待处理数据流的任意一个待处理数据进行算子运算,得到目标子数据,其中,所述目标任务处理逻辑包括至少一个任务子逻辑,每一个所述任务子逻辑利用对应的计算单元执行,所述目标任务子逻辑是所述至少一个任务子逻辑中的任意一个,所述第一拓扑关系表征针对所述目标任务子逻辑,所述目标算子之间的关联关系;以及
根据第二拓扑关系和每一个所述任务子逻辑的所述目标子数据,确定目标数据,其中,所述第二拓扑关系表征针对所述目标任务处理逻辑,所述任务子逻辑之间的关联关系。
2.根据权利要求1所述的方法,其中,所述根据第一拓扑关系,利用与目标任务子逻辑相关的目标算子,对所述待处理数据流的任意一个待处理数据进行算子运算,得到目标子数据包括:
针对任意一个所述目标算子,根据与所述目标算子关联的本地存储地址获取算子待处理数据;
根据所述目标算子对所述算子待处理数据进行算子运算,得到算子运算结果;
根据所述第一拓扑关系,将所述算子运算结果发送至下游目标算子的本地存储地址,作为所述下游目标算子的算子待处理数据;以及
针对所述目标任务子逻辑,根据所述第一拓扑关系表征的目标算子运算顺序,将末端的所述目标算子的算子运算结果作为所述目标任务子逻辑的所述目标子数据。
3.根据权利要求2所述的方法,其中,所述根据第二拓扑关系和每一个所述任务子逻辑的所述目标子数据,确定目标数据包括:
针对任意一个所述目标任务子逻辑,根据与所述目标任务子逻辑关联的远程存储地址获取子逻辑待处理数据,其中,上游任务子逻辑的所述目标子数据作为所述目标任务子逻辑的子逻辑待处理数据;以及
针对所述目标任务处理逻辑,根据所述第二拓扑关系表征的任务子逻辑运算顺序,将末端的所述任务子逻辑的所述目标子数据,作为所述目标任务处理逻辑的所述目标数据。
4.根据权利要求1-3中任一项所述的方法,还包括:
根据所述目标算子的语言类型,对所述目标算子进行协议适配,得到具有目标语言类型的目标算子。
5.根据权利要求4所述的方法,其中,所述语言类型包括解释型语言,所述根据所述目标算子的语言类型,对所述目标算子进行协议适配,得到具有目标语言类型的目标算子包括:
根据所述目标算子的解释型语言,调用与所述解释型语言关联的解释器,对目标算子的所述解释型语言进行解释,得到所述具有目标语言类型的目标算子。
6.根据权利要求4所述的方法,其中,所述语言类型包括编译型语言,所述根据所述目标算子的语言类型,对所述目标算子进行协议适配,得到转换后的具有目标语言类型的目标算子包括:
根据所述目标算子的编译型语言,调用与所述编译型语言关联的执行引擎和编译注册器,对目标算子的所述编译型语言进行编译和注册,得到所述具有目标语言类型的目标算子。
7.根据权利要求1-3中任一项所述的方法,其中,所述第一拓扑关系是根据子逻辑划分数据确定的,所述第二拓扑关系是根据目标任务处理逻辑划分数据确定的;所述目标任务处理逻辑划分数据表征所述目标任务处理逻辑在多个所述计算单元上的分布,所述子逻辑划分数据表征所述目标任务子逻辑在多个目标算子中的分布。
8.根据权利要求3所述的方法,其中,任意一个所述目标任务子逻辑的所述子逻辑待处理数据是通过远程队列获得的;任意一个所述目标算子的所述算子待处理数据是通过本地队列获得的。
9.根据权利要求2所述的方法,还包括:
针对任意一个目标任务子逻辑,根据配置数据,进行相应配置操作,其中,所述配置数据包括以下中的至少一个:线程配置数据、第一拓扑关系配置数据、第二拓扑关系配置数据、算子运算结果分发模式配置数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度(中国)有限公司,未经百度(中国)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211568696.9/1.html,转载请声明来源钻瓜专利网。