[发明专利]数据处理方法、装置和存储介质

说明书

本公开涉及一种数据处理方法、装置和存储介质。其所公开的板卡包括：存储器件、接口装置和控制器件以及设置有数据处理装置的芯片；其中，数据处理装置与存储器件、控制器件以及接口装置分别连接；存储器件，用于存储数据；接口装置，用于实现数据处理装置与外部设备之间的数据传输；控制器件，用于对数据处理装置的状态进行监控。本公开实施例所提供的数据处理方法、装置和存储介质，在执行神经网络运算任务时可以基于动态标签信息中的拆分索引对数据进行拆分、布局，提高了神经网络运算任务的处理效率和速度。

技术领域

本公开涉及计算机技术领域，尤其涉及一种数据处理方法、装置和存储介质。

背景技术

随着计算机技术的发展，神经网络(neural networks)也有了显著的进步，可以通过特定或者通用的处理器进行神经网络运算。相关技术中，在神经网络中数据类型多、运算量大、硬件限制等因素的影响下，神经网络运算的速度受到了很大限制。

发明内容

有鉴于此，本公开提出了一种数据处理方法、装置和存储介质。

根据本公开的一方面，提供了一种数据处理方法，应用于多核处理器，所述方法包括：

获取第一数据以及所述第一数据的标签信息，所述第一数据用于参与神经网络运算，所述标签信息包括静态标签信息和动态标签信息；

根据确定的所述第一数据参与的操作所对应的算子的参数、所述多核处理器中的内存通道数和所述标签信息，确定出将所述第一数据拆分成多个第二数据所需的拆分索引；

将所述拆分索引增加到所述动态标签信息中，以使所述多核处理器能够基于所述标签信息对所述第一数据进行所述神经网络运算，

其中，所述静态标签信息用于表征所述第一数据参与所述神经网络运算相关联的信息，所述动态标签信息用于表征所述第一数据与所述多核处理器相关联的信息。

根据本公开的另一方面，提供了一种数据处理装置，应用于多核处理器，所述装置包括：

信息获取模块，获取第一数据以及所述第一数据的标签信息，所述第一数据用于参与神经网络运算，所述标签信息包括静态标签信息和动态标签信息；

索引确定模块，根据确定的所述第一数据参与的操作所对应的算子的参数、所述多核处理器中的内存通道数和所述标签信息，确定出将所述第一数据拆分成多个第二数据所需的拆分索引；

标签增加模块，将所述拆分索引增加到所述动态标签信息中，以使所述多核处理器能够基于所述标签信息对所述第一数据进行所述神经网络运算，

其中，所述静态标签信息用于表征所述第一数据参与所述神经网络运算相关联的信息，所述动态标签信息用于表征所述第一数据与所述多核处理器相关联的信息。

根据本公开的另一方面，提供了一种机器学习运算装置，所述装置包括：

一个或多个上述数据处理装置，用于从其他处理装置中获取待运算数据和控制信息，并执行指定的机器学习运算，将执行结果通过I/O接口传递给其他处理装置；

当所述机器学习运算装置包含多个所述数据处理装置时，所述多个所述数据处理装置间可以通过特定的结构进行连接并传输数据；

其中，多个所述数据处理装置通过快速外部设备互连总线PCIE总线进行互联并传输数据，以支持更大规模的机器学习的运算；多个所述数据处理装置共享同一控制系统或拥有各自的控制系统；多个所述数据处理装置共享内存或者拥有各自的内存；多个所述数据处理装置的互联方式是任意互联拓扑。

根据本公开的另一方面，提供了一种组合处理装置，所述组合处理装置包括：

如上述机器学习运算装置、通用互联接口和其他处理装置；