[发明专利]神经网络输入图像点云卷积层计算的效率提升方法及电路

说明书

本发明涉及人工智能计算技术领域，具体涉及神经网络输入图像点云卷积层计算的效率提升方法及电路，对原始输入数据进行预处理，以提升有效输入通道数，包括步骤：沿输入特征的水平方向，将特征沿通道方向拼接；将Kx个尺寸为1*1*CH_in的特征条沿通道方向拼接，得到1*1*CH_in*Kx的特征条；沿输入特征垂直方向，将步骤S1拼接后的特征继续沿通道方向进行拼接；将Ky个尺寸为1*1*CH_in*Kx的特征条沿通道方向拼接，得到1*1*CH_in*Kx*Ky的特征条；完成卷积层的效率提升，即Kx*Ky倍；硬件电路，增加多个寄存器组组成的水平方向池化单元和垂直方向池化单元的数据拼接功能；本发明通过对原池化电路进行改进，完成输入特征通道方向的拼接，将特征的通道数提升Kx*Ky倍，对应的卷积计算效率也提高Kx*Ky倍。

技术领域

本发明涉及人工智能计算技术领域，具体涉及神经网络输入图像点云卷积层计算的效率提升方法及电路。

背景技术

近年来，随着人工智能渗透到各个应用领域，深度神经网络在边缘端的部署成为人工智能落地的重要标志。限制神经网络加速性能有两个关键因素：峰值算力和计算效率。由于边缘端芯片尺寸和功耗的制约，不能一味堆砌计算单元来提升峰值算力，如何在已有的算力下提升计算效率已成为加速器设计的重中之重。

参考图1，目前业界主流的加速器都是将卷积计算分解为矩阵乘法计算，矩阵乘法可以容易实现并行计算，通常加速器会设置两个维度的并行度来达到较高的峰值算力：输入通道并行度和输出通道并行度。增大两个并行度可以实现较高的峰值算力。如Xilinx的DPU的两个并行度最大为16，英伟达的NVDLA两个并行度可达64。

然而，对于神经网络模型来说，输入的原始数据的通道数为3(图像RGB三通道)或4(点云x，y，z，强度)，当加速器的输入通道并行度较高时(假定为64)，理论效率不高于4.69％(3/64)或6.25％(4/64)。

发明内容

为解决上述问题，本发明提出神经网络输入图像点云卷积层计算的效率提升方法。

本发明解决其技术问题所采用的技术方案是：

本发明第一方面提供了一种神经网络输入图像点云卷积层计算的效率提升方法，对原始输入数据进行预处理，以提升有效输入通道数，包括步骤：

步骤S1，沿输入特征的水平方向，将特征沿通道方向拼接；

将Kx个尺寸为1*1*CH_in的特征条沿通道方向拼接，得到1*1*CH_in*Kx的特征条；

步骤S2，沿输入特征垂直方向，将步骤S1拼接后的特征继续沿通道方向进行拼接；

将Ky个尺寸为1*1*CH_in*Kx的特征条沿通道方向拼接，得到1*1*CH_in*Kx*Ky的特征条；

步骤S3，完成卷积层的效率提升，即Kx*Ky倍；

其中，Kx、Ky分别为卷积层在水平方向和垂直方向的权重尺寸。

本发明第二方面提供了一种硬件电路，包括多个寄存器组组成的水平方向池化单元和垂直方向池化单元；

对水平方向池化单元的运算模块增加数据拼接功能，以完成步骤S1通道方向拼接；

对垂直方向池化单元的运算模块增加数据拼接功能，以完成步骤S2通道方向拼接；

将水平方向池化和垂直方向池化分两步进行，以获得将原特征1*1*CH_in的特征条拼接为1*1*CH_in*Kx*Ky的特征条。

本发明的上述技术方案具有如下有益的技术效果：

通过对原池化电路进行改进，完成输入特征通道方向的拼接，将特征的通道数提升Kx*Ky倍，对应的卷积计算效率也提高Kx*Ky倍。

附图说明