[发明专利]一种支持多模式卷积计算的方法及装置

说明书

本申请公开了一种支持多模式卷积计算的方法及装置，包括配置原始计算单元；获取计算任务对应的计算模式；根据计算模式将原始计算单元配置为当前计算单元；采用所述当前计算单元执行所述计算任务，并输出计算结果。本申请通过复用原始计算单元中的乘法器和加法器，通过控制逻辑实现多种计算模式用于执行不同的计算任务，对于计算精度要求高的计算任务可以采取FP16的计算模式，对于计算速度要求高的计算任务可以灵活采取INT8的计算模式。并且本申请将三种计算模式的元件整合，复用高占比的乘法器和加法器能够有效降低资源消耗和芯片面积。

技术领域

本发明涉及卷积神经网络技术领域，特别涉及一种支持多模式卷积计算的方法及装置。

背景技术

近十年来，随着大数据、云计算、互联网、物联网等信息技术的发展，泛在感知数据和图形处理器等计算平台推动以深度神经网络DNN为代表的人工智能技术飞速发展，大幅跨越了科学与应用之间的“技术鸿沟”，诸如图像分类、语音识别、知识问答、人机对弈、无人驾驶等人工智能技术实现了从“不能用”到“可以用”的技术突破，迎来爆发式增长的新高潮。

目前主流的人工智能解决方案大多采用卷积神经网络(CNN)来实现。现有技术中，由于CNN网络模型通常比较大，需要海量的计算来完成任务，出于应用部署的需要，CNN硬件加速器就成为了解决计算效率的首选。目前的CNN加速方式包括采用FPGA(可编程逻辑阵列)实现CNN硬件加速，或者采用ASIC(专用集成电路)实现CNN硬件加速等等。

然而，目前现有的硬件加速器通常仅能支持一种卷积计算，例如仅支持INT8(8位整形数)、INT16(16位整形数)或FP16(半精度浮点数)，这就导致当面临不同需求的计算任务时，现有方法及装置不能灵活根据任务进行快速调整，往往不能同时兼顾计算精度和计算速度的要求。

发明内容

本申请提供了一种支持多模式卷积计算的方法及装置，以解决现有技术中的CNN加速器缺乏灵活性不能兼顾计算精度和计算速度的问题。

第一方面，本申请提供了一种支持多模式卷积计算的方法，包括：

配置原始计算单元；所述原始计算单元包括依次连接的第一乘法器、第一移位器、选择器、第一加法器、第一寄存器以及FP16规范化处理器，还包括依次连接的第二乘法器、第二移位器、第二加法器以及第二寄存器；其中，所述第一寄存器的输出端连接第一加法器的输入端；所述第二寄存器的输出端分别连接第二加法器的输入端以及选择器的输入端；所述原始计算单元还包括第三加法器，所述第三加法器的输出端连接至第一移位器和第二移位器的输入端；

获取计算任务对应的计算模式；

根据计算模式将原始计算单元配置为当前计算单元；

采用所述当前计算单元执行所述计算任务，并输出计算结果。

在一些实施例中，所述计算模式包括INT8计算模式、INT16计算模式或FP16计算模式。

在一些实施例中，当所述计算模式为INT8计算模式时，所述将原始计算单元配置为当前计算单元的步骤包括：

分别将第一移位器和第二移位器配置为：将输入的数据不执行移位处理直接输出；

将FP16规范化处理器配置为：将输入的数据不执行FP16规范化处理直接输出；

将选择器配置为：将第一移位器的输出数据作为第一加法器的输入数据。

在一些实施例中，所述当前计算单元中，第一乘法器和第一加法器、以及第二乘法器和第二加法器分别提供不同计算任务对应的乘累加计算。

在一些实施例中，当所述计算模式为INT16计算模式时，所述将原始计算单元配置为当前计算单元的步骤包括：

将FP16规范化处理器配置为：将输入的数据不执行FP16规范化处理直接输出；