[发明专利]处理器及处理方法

说明书

本申请提出了一种处理器及处理方法；其中，所述处理器包括：任务切分装置，用于根据任务切分粒度进行任务切分；以及硬件资源划分装置，用于根据任务切分结果对所述处理器的硬件资源进行划分。本申请处理器及处理方法通过对任务切分，根据任务切分进行不同的硬件配置，提高了处理性能，有利于减少开销。

技术领域

本申请涉及信息处理技术领域，具体涉及一种处理器及处理方法。

背景技术

神经网络算法已成为许多不同领域中最先进的算法，如图像识别领域、语音识别领域和自然语言处理领域。这其中最为主要的网络是深度学习。这些神经网络通过不同层的神经元，完成不同的操作，从而对输入数据进行处理，最后得到相应的输出结果。通常来说，不同的输入样本通过同一个神经网络得到不同的输出结果，也即一个固定的神经网络完成一个输入到一个输出的映射。然而对于很多场景来说，同时存在多个输入样本，这些输入都需要被快速完成，也即存在多服务请求。同时在训练过程中通常采用batch的训练方法，也即多个样本(也即batch的大小)计算完成后再更新权值，需要同时计算多个输入样本(包括正向和反向)。

在实现本申请的过程中，申请人发现上述现有技术存在如下技术缺陷。神经网络装置不能支持多个输入样本同时计算，也即无法支持batch训练和多服务请求。

另外，随着神经网络的规模越来越大，多核神经网络处理器逐渐代替了单核神经网络处理器。但是传统的任务调度方式应用于多核神经网络处理器时，存在服务质量低，核利用率低，负载不均衡，能耗大的问题。因此，如何针对多核神经网络处理器对神经网络进行任务切分，任务调度成为一个亟待解决的问题。

发明内容

(一)要解决的技术问题

本申请提供了一种处理器及处理方法，以至少部分解决以上所提出的技术问题。

(二)技术方案

根据本申请的一个方面，提供了一种处理器，包括：

任务切分装置，用于根据任务切分粒度进行任务切分；以及

硬件资源划分装置，用于根据任务切分结果对所述处理器的硬件资源进行划分。

在一些实施例中，所述处理器还包括多个计算单元，所述硬件资源划分装置用于根据任务切分结果对所述处理器的多个计算单元进行划分，即所述多个计算单元根据所述任务切分结果分成多个计算组，以分别计算batch中不同的正向和反向通路，或运行不同的服务的请求。

在一些实施例中，所述处理器在运行过程中，根据所述任务切分结果对所述多个计算单元的分组进行动态调整。

在一些实施例中，所述任务切分装置包括：

任务切分粒度选择单元，用于选择采用的粒度；以及

粒度任务切分单元，用于采用至少一种粒度对任务进行切分形成子任务。

在一些实施例中，所述粒度任务切分单元包括以下单元中的至少一个：

第一粒度任务切分单元，用于将任务整体作为一子任务；

第二粒度任务切分单元，用于将选取任务中部分样本计算作为子任务来切分任务；

第三粒度任务切分单元，用于按照神经网络的层类型进行任务切分，相同类型层的计算作为一子任务；

第四粒度任务切分单元，用于按照神经网络的层间结构进行任务切分，若干相邻层的计算作为一子任务；

第五粒度任务切分单元，用于按照神经网络的层内结构进行任务切分，将神经网络层内的计算切分为子任务。