[发明专利]数据访问请求的处理方法、装置和设备及存储介质

说明书

本发明公开了一种数据访问请求的处理方法、装置和设备及存储介质，属于计算机技术领域，用于解决现有技术中用于批量处理的分布式缓存的资源开销较大的问题。该方法包括：截获到请求获取应用数据段的数据访问请求时，生成至少一个数据访问子请求；对于每个数据访问子请求，根据预设规则从分布式批量处理系统中所有可用的节点中筛选出M个节点并从中选择一个目标节点，将数据访问子请求发送给选择出的目标节点；接收选择出的目标节点返回的数据块，其中，如果目标节点中储存有上述数据块的只读副本，则从本地缓存中获取并发送，否则，从外部存储系统获取后，保存后并发送；将收到的至少一个数据块组合成应用数据段并发送给数据访问请求的发送方。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据访问请求的处理方法、装置和设备及存储介质。

背景技术

批量计算(Batch Compute)，是一种针对大规模并行批处理作业的分布式云服务，可以为有大数据计算业务需求的企业或者科研单位等提供计算服务。在用户选择了批量计算服务时，通常可以根据用户的要求为其分配多个计算节点，以为用户的业务应用提供计算服务，由于计算任务的数据一般存储在外部存储系统中，在这些计算节点需要这些数据时，就会访问外部存储系统来获取，但是在计算节点较多时，外部存储系统的压力较大，因此目前可以采用分布式缓存来缓解外部存储系统的压力。

目前通常使用一致性哈希算法来实现分布式缓存，但是这种算法需要节点之间的交互环节较多，从而使得各个计算节点的资源开销较大。

发明内容

本发明实施例提供一种数据访问请求的处理方法、装置和设备及存储介质，用于解决现有技术中用于批量处理的分布式缓存的计算节点的资源开销较大的问题。

一方面，提供一种数据访问请求的处理方法，所述方法包括：

截获到请求获取应用数据段的数据访问请求时，生成至少一个数据访问子请求，每个数据访问子请求分别用于获取所述应用数据段中的一个数据块；

分别根据每个数据访问子请求所要获取的数据块，执行如下步骤：

根据预设规则从分布式批量处理系统中所有可用的节点中筛选出M个节点，其中M为正整数；

从所述M个节点中选择一个目标节点；并

将数据访问子请求发送给选择出的目标节点；

接收选择出的目标节点返回的数据块，其中，目标节点在收到数据块访问子请求时，如果本地缓存中储存有数据访问子请求所要获取的数据块的只读副本，则从本地缓存中获取并发送，否则，从外部存储系统获取后，保存到本地缓存中并发送；

将收到的至少一个数据块组合成所述应用数据段并发送给数据访问请求的发送方。

一方面，提供一种数据访问请求的处理方法，所述方法包括：

接收被请求节点发送的数据访问子请求，所述数据访问子请求为所述被请求节点截获到请求获取应用数据段的数据访问请求后，生成的至少一个数据访问子请求中的其中一个，其中，每个数据访问子请求分别用于获取所述应用数据段中的一个数据块；

若确定本地缓存中储存有数据访问子请求所要获取的数据块的只读副本，则从本地缓存中获取并发送给所述被请求节点；否则，确定本地缓存是否能够存储所述数据块；并

在确定结果为是时，从挂载到自身的本地存储系统的外部存储系统中获取所述数据块并存储到本地缓存后，发送给所述被请求节点；或者，

在确定结果为否时，向所述被请求节点返回访问拒绝响应。

一方面，提供一种数据访问请求的处理装置，包括：