[发明专利]用于处理数据的方法、设备和计算机程序产品

说明书

本公开的实施例涉及用于处理数据的方法、设备和计算机程序产品。该方法包括：确定是否发生触发在存储设备处处理数据的事件，所述数据是预定将在与所述存储设备相关联的计算设备处被处理的；响应于确定发生所述事件，确定所述存储设备的可用资源；以及响应于所述可用资源超过第一预定阈值，使得所述存储设备处理所述数据，以向所述计算设备提供经处理的数据。使用本公开的技术方案，可以自适应地在存储系统中的存储设备和计算设备上分配、部署和调整要对数据执行的操作，从而使得可以充分利用存储设备和计算设备二者的计算能力，进而可以提高整个数据处理系统的计算效率。

技术领域

本公开的实施例总体上涉及数据处理领域，具体地涉及用于处理数据的方法、设备和计算机程序产品。

背景技术

人工智能(例如，机器学习和深度学习)已经得到了广泛的发展，并且大量的人工智能和深度学习应用已经被部署。在实践中，深度学习通常需要对大量数据执行预处理操作。传统的深度学习系统架构可以包括多个存储设备和多个计算设备，它们分别构成深度学习系统架构中的存储集群和计算集群。存储设备又可以被称为存储节点，每个存储设备可以包括多个存储装置。计算设备又可以被称为计算节点，每个计算设备可以包括多个中央处理单元(CPU)和专用处理资源，例如，图形处理单元(GPU)。存储集群和计算集群可以通过网络而被连接。在传统的深度学习系统架构中，存储集群仅用于存储用于深度学习的数据。在执行深度学习时，计算集群通过网络从存储集群读取原始数据，并且由计算集群中的中央处理单元对这些原始数据进行处理(也可以被称为预处理)。而后，经处理的原始数据被提供给计算集群中的图形处理单元以用于训练。然而，随着深度学习技术的发展，传统的深度学习系统架构需要处理越来越多的数据，因此其可以被认为是读取密集型的，并且对计算能力的要求并不太高。由于对数据的处理仅在计算集群中执行，因此限制了处理数据的效率，从而导致传统的深度学习架构能力的不足。

发明内容

本公开的实施例提供了用于处理数据的方法、设备和计算机程序产品。

在本公开的第一方面中，提供了一种用于处理数据的方法。该方法包括：确定是否发生触发在存储设备处处理数据的事件，所述数据是预定将在与所述存储设备相关联的计算设备处被处理的；响应于确定发生所述事件，确定所述存储设备的可用资源；以及响应于所述可用资源超过第一预定阈值，使得所述存储设备处理所述数据，以向所述计算设备提供经处理的数据。

在本公开的第二方面中，提供了一种用于处理数据的方法。该方法包括：从计算设备向与所述计算设备相关联的存储设备发送在所述存储设备处处理数据的请求，所述数据是预定将在所述计算设备处被处理的；以及从所述存储设备接收经处理的所述数据，所述数据是在所述存储设备的可用资源超过第一预定阈值时被所述存储设备处理的。

在本公开的第三方面中，提供了一种用于处理数据的设备。该设备包括：至少一个处理单元；至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：确定是否发生触发在存储设备处处理数据的事件，所述数据是预定将在与所述存储设备相关联的计算设备处被处理的；响应于确定发生所述事件，确定所述存储设备的可用资源；以及响应于所述可用资源超过第一预定阈值，使得所述存储设备处理所述数据，以向所述计算设备提供经处理的数据。

在本公开的第四方面中，提供了一种用于处理数据的设备。该设备包括：至少一个处理单元；至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：从计算设备向与所述计算设备相关联的存储设备发送在所述存储设备处处理数据的请求，所述数据是预定将在所述计算设备处被处理的；以及从所述存储设备接收经处理的所述数据，所述数据是在所述存储设备的可用资源超过第一预定阈值时被所述存储设备处理的。