[发明专利]分布式RPC系统和数据处理方法及装置在审
申请号: | 201711266297.6 | 申请日: | 2017-12-05 |
公开(公告)号: | CN107968786A | 公开(公告)日: | 2018-04-27 |
发明(设计)人: | 马元文 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | H04L29/06 | 分类号: | H04L29/06;H04L29/08 |
代理公司: | 北京集佳知识产权代理有限公司11227 | 代理人: | 王宝筠 |
地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 rpc 系统 数据处理 方法 装置 | ||
1.一种分布式远程过程调用协议RPC系统,其特征在于,包括:
客户端,与所述客户端相连接的服务器端,与所述服务器端相连接的资源管理平台;
其中,所述服务器端包括至少两个服务器,所述资源管理平台部署有实时计算框架;
所述客户端用于,将客户端识别信息和请求信息随机发送至目标服务器,所述目标服务器为所述服务器端包括的任一服务器;
所述目标服务器用于,为所述请求信息设置请求ID,将服务器识别信息、所述请求信息和所述请求ID发送至所述资源管理平台;所述请求ID与所述客户端识别信息和所述请求信息分别相对应;
所述资源管理平台用于,通过所述实时计算框架响应所述请求信息,得到响应结果,将所述响应结果和所述请求ID发送至与所述服务器识别信息相对应的目标服务器,以使所述与所述服务器识别信息相对应的目标服务器将所述响应结果发送至与所述请求ID相对应的客户端。
2.根据权利要求1所述的分布式远程过程调用协议RPC系统,其特征在于,所述实时计算框架为:
Apache Flink或者Apache Storm。
3.根据权利要求1所述的分布式远程过程调用协议RPC系统,其特征在于,所述资源管理平台为:
Apache Hadoop YARN或Apache Mesos。
4.根据权利要求1-3任一项所述的分布式远程过程调用协议RPC系统,其特征在于,所述实时计算框架包括:
多个支持算子内和算子间计算并行度的内置算子。
5.根据权利要求4所述的分布式远程过程调用协议RPC系统,其特征在于,所述内置算子支持按目标参量Key聚合数据。
6.一种数据处理方法,其特征在于,应用于权利要求1~5任一项所述的分布式远程过程调用协议RPC系统中的目标服务器,所述方法包括:
接收所述客户端发送的客户端识别信息和请求信息;
为所述请求信息设置请求ID,将服务器识别信息、所述请求信息和所述请求ID发送至所述资源管理平台,以使所述资源管理平台通过所述实时计算框架响应所述请求信息,得到响应结果,并通过所述服务器识别信息确定所述目标服务器;所述请求ID与所述客户端识别信息和所述请求信息分别相对应;
接收所述资源管理平台发送的所述响应结果和所述请求ID,将所述响应结果发送至与所述请求ID相对应的客户端。
7.一种数据处理装置,其特征在于,应用于权利要求1~5任一项所述的分布式远程过程调用协议RPC系统中的目标服务器,所述装置包括:
接收模块,用于接收所述客户端发送的客户端识别信息和请求信息;
上传模块,为所述请求信息设置请求ID,将服务器识别信息、所述请求信息和所述请求ID发送至所述资源管理平台,以使所述资源管理平台通过所述实时计算框架响应所述请求信息,得到响应结果,并通过所述服务器识别信息确定所述目标服务器;所述请求ID与所述客户端识别信息和所述请求信息分别相对应;
反馈模块,用于接收所述资源管理平台发送的所述响应结果和所述请求ID,将所述响应结果发送至与所述请求ID相对应的客户端。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711266297.6/1.html,转载请声明来源钻瓜专利网。