专利名称
主分类
A 农业
B 作业;运输
C 化学;冶金
D 纺织;造纸
E 固定建筑物
F 机械工程、照明、加热
G 物理
H 电学
专利下载VIP
公布日期
2023-10-24 公布专利
2023-10-20 公布专利
2023-10-17 公布专利
2023-10-13 公布专利
2023-10-10 公布专利
2023-10-03 公布专利
2023-09-29 公布专利
2023-09-26 公布专利
2023-09-22 公布专利
2023-09-19 公布专利
更多 »
专利权人
国家电网公司
华为技术有限公司
浙江大学
中兴通讯股份有限公司
三星电子株式会社
中国石油化工股份有限公司
清华大学
鸿海精密工业股份有限公司
松下电器产业株式会社
上海交通大学
更多 »
钻瓜专利网为您找到相关结果5个,建议您升级VIP下载更多相关专利
  • [发明专利]一种Spark框架中Reduce任务执行方法、装置、设备及存储介质-CN202111497023.4在审
  • 付仲明;何梦思;罗凌云;丁平尖;朱涛;万亚平 - 南华大学
  • 2021-12-09 - 2022-03-11 - G06F9/50
  • 本申请公开了一种Spark框架中Reduce任务执行方法、装置、设备及存储介质,包括:获取执行应用程序的Reduce任务所需Executor的第一数量,并确定Spark框架节点中可用Executor的第二数量;基于所述可用Executor之间的通信距离从所述第二数量个所述可用Executor中确定出所述第一数量个所述可用Executor,以得到与所述应用程序对应的具有低通信延迟的目标Executor集合;其中,所述通信距离表征所述可用Executor所在节点之间的通信延迟;在相应的Spark框架节点中启动所述目标Executor集合中的所述可用Executor,以利用启动后的所述可用Executor执行所述应用程序的Reduce任务。可见,本申请以通信距离作为主要考虑因素在Spark框架中将Executor启动在彼此靠近的节点上,以减少作业运行时Reduce任务之间的通信延迟,提高任务执行性能。
  • 一种spark框架reduce任务执行方法装置设备存储介质
  • [发明专利]一种基于Spark框架的Executor分配方法、装置、设备及存储介质-CN202111497024.9在审
  • 付仲明;何梦思;罗凌云;丁平尖;朱涛;万亚平 - 南华大学
  • 2021-12-09 - 2022-03-11 - G06F9/50
  • 本申请公开了一种基于Spark框架的Executor分配方法、装置、设备及存储介质,包括:确定Map阶段全部Map任务分别在Spark框架中每个第一空闲节点获取相应数据块的通信代价,以得到每个所述第一空闲节点对应的第一通信代价;按照所述第一通信代价的大小顺序对全部所述第一空闲节点进行排序,并依次在排序后的所述第一空闲节点上分配所述第一空闲节点的最大可用Executor数量个第一Executor;当分配的所述第一Executor总数量为第一所需Executor数量时,停止分配所述第一Executor得到所述Map阶段执行所述Map任务的包含当前已分配的所述第一Executor的第一Executor集合。可见,本申请将Executor分配在靠近输入数据块所在的节点上,能够改善Spark任务调度中的数据本地性,有效降低任务的网络流量和数据访问延迟。
  • 一种基于spark框架executor分配方法装置设备存储介质

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

400-8765-105周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top