[发明专利]分布式RPC系统和数据处理方法及装置

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种分布式RPC系统和数据处理方法及装置。

背景技术

RPC(Remote Procedure Call Protocol，远程过程调用协议)服务是一种常见的C/S(Client/Server，客户端/服务器)服务架构，广泛应用于生产环境中。随着客户端访问量的增大，服务器端可以采用分布式架构，并行处理客户端的请求，以提高处理效率，这种称为分布式RPC架构。参见图1，图1为现有技术中采用分布式RPC架构的系统的结构图，如图1所示，RPC client随机选择一个RPC Server来处理请求。

而采用目前的分布式RPC架构的系统，需要专门为分布式RPC架构的系统部署(处理器和内存等)资源和规划上下线管理，比较繁琐，效率较低。

发明内容

有鉴于此，本发明提供了一种分布式RPC系统和数据处理方法及装置，能够简化处理流程，提高效率。

为实现上述目的，本发明提供如下技术方案：

一种分布式远程过程调用协议RPC系统，包括：

客户端，与所述客户端相连接的服务器端，与所述服务器端相连接的资源管理平台；

其中，所述服务器端包括至少两个服务器，所述资源管理平台部署有实时计算框架；

所述客户端用于，将客户端识别信息和请求信息随机发送至目标服务器，所述目标服务器为所述服务器端包括的任一服务器；

所述目标服务器用于，为所述请求信息设置请求ID，将服务器识别信息、所述请求信息和所述请求ID发送至所述资源管理平台；所述请求ID与所述客户端识别信息和所述请求信息分别相对应；

所述资源管理平台用于，通过所述实时计算框架响应所述请求信息，得到响应结果，将所述响应结果和所述请求ID发送至与所述服务器识别信息相对应的目标服务器，以使所述与所述服务器识别信息相对应的目标服务器将所述响应结果发送至与所述请求ID相对应的客户端。

进一步的，所述实时计算框架为：

Apache Flink或者Apache Storm。

进一步的，所述资源管理平台为：

Apache Hadoop YARN或Apache Mesos。

进一步的，所述实时计算框架包括：

多个支持算子内和算子间计算并行度的内置算子。

进一步的，所述内置算子支持按目标参量Key聚合数据。

一种数据处理方法，应用于上述任一项所述的分布式远程过程调用协议RPC系统中的目标服务器，所述方法包括：

接收所述客户端发送的客户端识别信息和请求信息；

为所述请求信息设置请求ID，将服务器识别信息、所述请求信息和所述请求ID发送至所述资源管理平台，以使所述资源管理平台通过所述实时计算框架响应所述请求信息，得到响应结果，并通过所述服务器识别信息确定所述目标服务器；所述请求ID与所述客户端识别信息和所述请求信息分别相对应；

接收所述资源管理平台发送的所述响应结果和所述请求ID，将所述响应结果发送至与所述请求ID相对应的客户端。

一种数据处理装置，应用于上述任一项所述的分布式远程过程调用协议RPC系统中的目标服务器，所述装置包括：

接收模块，用于接收所述客户端发送的客户端识别信息和请求信息；

上传模块，为所述请求信息设置请求ID，将服务器识别信息、所述请求信息和所述请求ID发送至所述资源管理平台，以使所述资源管理平台通过所述实时计算框架响应所述请求信息，得到响应结果，并通过所述服务器识别信息确定所述目标服务器；所述请求ID与所述客户端识别信息和所述请求信息分别相对应；

反馈模块，用于接收所述资源管理平台发送的所述响应结果和所述请求ID，将所述响应结果发送至与所述请求ID相对应的客户端。