[发明专利]数据处理方法、装置、计算机设备及计算机可读存储介质

说明书

一种数据处理方法、装置、计算机设备及计算机可读存储介质，属于存储技术领域。本方法由计算集群中的计算节点实现负载均衡器的功能，使得计算节点可以从存储集群的多个网关设备中选择网关设备发送数据处理请求，数据处理的过程中计算节点无需通过负载均衡集群为数据处理请求选择网关设备，从而在构建存算分离的存储系统时，无须部署负载均衡集群，降低了构建存算分离的存储系统的成本。

技术领域

本申请涉及存储技术领域，特别涉及一种数据处理方法、装置、计算机设备及计算机可读存储介质。

背景技术

随着云计算技术的发展与应用，为了满足存储与计算的弹性扩展和高效存储，在存算一体架构的存储系统的基础上演化出存算分离架构的存储系统。例如存算分离的存储系统包括计算集群、负载均衡集群以及存储集群，计算集群通过数据转发集群访问存储集群。

目前，在存算分离的存储系统中数据处理的过程可以是：计算集群中的计算节点将数据处理请求发送至数据转发集群中的负载均衡设备，负载均衡设备采用负载均衡方案，从存储集群中的多个网关设备中选择一个网关设备，并向选择出的网关设备转发数据处理请求，由该网关设备将发数据处理请求发送至存储集群中的存储节点，存储节点对该数据处理请求进行处理，例如读取数据或者存储数据。其中，数据转发集群中的负载均衡设备可以是负载均衡器，例如，F5网络公司提供的F5负载均衡器，或者负载均衡器Nginx，也可以是部署有Linux虚拟服务器(Linux virtual server，LVS)。

但是，在存算分离的存储系统比较大的情况下，为了实现负载均衡，负载均衡集群中部署的负载均衡设备可能不止一台，且负载均衡设备造价昂贵，导致构建存算分离的存储系统的成本不断增加。因此，如何提供一种低成本的存储系统成为亟待解决的技术问题。

发明内容

本申请提供了一种数据处理方法、装置、计算机设备以及存储介质，能够构建存算分离的存储系统的成本。该技术方案如下：

第一方面，提供了一种数据处理方法，所述方法应用于存算分离的存储系统，所述存储系统包括计算集群以及存储集群，所述方法由所述计算集群中的计算节点执行，所述方法包括：接收数据处理请求，所述数据处理请求指示对文件进行处理；从所述存储集群的多个网关设备中确定第一网关设备；向所述第一网关设备发送所述数据处理请求，由所述第一网关设备将所述数据处理请求转发至所述存储集群中的存储节点完成对所述文件进行处理。

本方法由计算集群中的计算节点实现负载均衡器的功能，使得计算节点可以从存储集群的多个网关设备中选择网关设备发送数据处理请求，数据处理的过程中计算节点无需通过负载均衡集群为数据处理请求选择网关设备，从而在构建存算分离的存储系统时，无须部署负载均衡集群，降低了构建存算分离的存储系统的成本。

在一种可能的实现方式中，所述计算节点中记录有所述多个网关设备与索引之间的对应关系，所述多个网关设备中的每个网关设备分别对应一个索引；所述从所述存储集群的多个网关设备中，确定第一网关设备包括：对所述数据处理请求携带的所述文件的标识进行哈希计算，得到所述文件的哈希值；基于所述哈希值，获取目标索引；基于所述多个网关设备与索引之间的对应关系，将所述多个网关设备中所述目标索引对应的网关设备确定为所述第一网关设备。

在一种可能的实现方式中，所述多个网关设备与索引之间的对应关系包括所述多个网关设备中每个网关设备的标识以及每个网关设备所对应的索引，每个网关设备的标识包括每个网关设备的网络协议IP地址。

在一种可能的实现方式中，所述目标索引为所述哈希值与所述多个网关设备的数目之间的余数。

在一种可能的实现方式中，所述从所述存储集群的多个网关设备中确定第一网关设备包括：

在所述多个网关设备中随机选择任一网关设备作为所述第一网关设备。

在一种可能的实现方式中，所述从所述存储集群的多个网关设备中，确定第一网关设备之前，所述方法还包括：