[发明专利]一种数据处理方法、相关设备及系统有效
申请号: | 201810825264.9 | 申请日: | 2018-07-25 |
公开(公告)号: | CN110851265B | 公开(公告)日: | 2023-09-08 |
发明(设计)人: | 于文静;黄伊;白小龙;刘莹;向超 | 申请(专利权)人: | 华为云计算技术有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06N20/00 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 郝传鑫;熊永强 |
地址: | 550025 贵州省贵阳市*** | 国省代码: | 贵州;52 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 相关 设备 系统 | ||
1.一种数据处理方法,其特征在于,应用于深度学习系统的第一中间节点,所述深度学习系统包括中间节点、子节点集合以及根节点,所述子节点集合包括至少一个子节点,所述方法包括:
所述第一中间节点接收下一跳节点集合发送的目标应用的第一变量数据,所述目标应用与所述第一中间节点对应,所述第一中间节点为所述深度学习系统中与所述根节点相连的任意一个中间节点,所述下一跳节点集合为所述子节点集合或下一跳中间节点集合,所述第一变量数据为所述根节点直接分配至对应的子节点且经过所述对应的子节点计算处理后的数据;
所述第一中间节点识别所述第一变量数据中的身份标识,所述身份标识包括端口号和网络地址;
所述第一中间节点根据所述身份标识判断所述第一变量数据是否为所述目标应用的变量数据;
若是,则所述第一中间节点根据所述第一变量数据进行汇聚处理,得到第二变量数据;
所述第一中间节点将所述第二变量数据发送给所述根节点,所述第二变量数据用于所述根节点进行汇聚处理。
2.如权利要求1所述的方法,其特征在于,所述第一中间节点进行汇聚处理的处理方式根据所述目标应用确定;
其中,所述第一中间节点进行汇聚处理的处理方式包括:累加处理、求最值处理、求平均值处理中的任意一种或多种。
3.如权利要求1所述的方法,其特征在于,所述第一中间节点将所述第二变量数据发送给所述根节点之后,还包括:
所述第一中间节点将所述第二变量数据进行清零处理。
4.如权利要求1所述的方法,其特征在于,所述第一中间节点与所述子节点集合中的目标节点部署于同一个设备;所述第一中间节点的网络带宽根据所述子节点集合中除所述目标节点以外的节点的总带宽确定,所述目标节点为所述子节点集合中的任意一个子节点。
5.如权利要求4所述的方法,其特征在于,所述第一中间节点与所述根节点部署于同一个设备;所述第一中间节点的网络带宽根据所述下一跳节点集合的总带宽确定。
6.一种中间节点设备,其特征在于,应用于深度学习系统,所述深度学习系统包括中间节点、子节点集合以及根节点,所述子节点集合包括至少一个子节点备,所述中间节点设备包括:
接收模块,用于接收下一跳节点集合发送的目标应用的第一变量数据,所述目标应用与第一中间节点对应,所述第一中间节点为所述深度学习系统中与所述根节点相连的任意一个中间节点,所述第一中间节点部署于所述中间节点设备,所述下一跳节点集合为所述子节点集合或下一跳中间节点集合,所述第一变量数据为所述根节点直接分配至对应的子节点且经过所述对应的子节点计算处理后的数据;
识别模块,用于识别所述第一变量数据中的身份标识,所述身份标识包括端口号和网络地址;
判断模块,用于根据所述身份标识判断所述第一变量数据是否为所述目标应用的变量数据;
若是,则汇聚模块,用于根据所述第一变量数据进行汇聚处理,得到第二变量数据;
发送模块,用于将所述第二变量数据发送给所述根节点,所述第二变量数据用于所述根节点进行汇聚处理。
7.如权利要求6所述的设备,其特征在于,所述汇聚模块进行汇聚处理的处理方式根据所述目标应用确定;
其中,所述第一中间节点进行汇聚处理的处理方式包括:累加处理、求最值处理、求平均值处理中的任意一种或多种。
8.如权利要求6所述的中间节点设备,其特征在于,所述中间节点设备还包括:
清零模块,用于将所述第二变量数据进行清零处理。
9.如权利要求6所述的中间节点设备,其特征在于,所述子节点集合中的目标节点部署于所述中间节点设备;所述中间节点设备的网络带宽根据所述子节点集合中除所述目标节点以外的节点的总带宽确定,所述目标节点为所述子节点集合中的任意一子个节点。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为云计算技术有限公司,未经华为云计算技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810825264.9/1.html,转载请声明来源钻瓜专利网。