[发明专利]存算芯片内的加权融合变换部件、存算电路及协同计算方法

说明书

本申请公开了一种存算芯片内的加权融合变换部件、存算电路及协同计算方法，涉及人工智能领域。该存算芯片内的加权融合变换部件以及存算电路，利用加法器、乘法器、激活函数查表模块、移位寄存器、查表寄存器等部件对加权融合变换硬件化，与存算芯片高并行度计算优势深度结合，进行硬件级的协同化设计，通过存算芯片内的硬件电路完成高并行度的像素级加权融合变换，紧密连接神经网络的融合系数计算模块与融合后的处理模块，提升存算芯片的运算效率，避免了CPU参与，减少了数据搬运，降低了芯片功耗。

技术领域

本申请涉及人工智能领域，具体涉及存算芯片内的加权融合变换部件、存算电路及协同计算方法。

背景技术

近年来，为了解决基于冯诺依曼架构的传统数字计算平台中的“存储墙”导致的性能瓶颈，基于相变存储器(PCM)、电阻随机存取存储器(RRAM)和闪存(Nor Flash)等多种类型的存储单元的存内计算(CIM)芯片得到人们的广泛关注，其基本思想是直接利用模拟存储能力和基尔霍夫电路定律，使用存储器进行逻辑计算。存算一体技术可从架构上解决由于存储与计算部件在物理空间上分离造成的“存储墙”性能瓶颈。

在视频流数据的处理中，当前以通用GPU(Graphics Processing Unit)为主，功耗较高，将存算芯片技术用于视频流处理可有效降低芯片功耗。现有采用存算芯片的视频流处理技术中，针对一行一行形式的视频流数据，每像素都需要将存算芯片输出的融合系数、前一帧的输入图像、当前帧的输入图像搬运到CPU的缓存中，经CPU计算后，再搬运回存算芯片中进行后续神经网络模块的计算。整个过程需要CPU的参与，这会导致存内计算芯片无需数据搬运的优势无法发挥出来，导致计算效率受限于数据搬运、CPU处理速度，导致功耗大幅提升。

发明内容

为了解决以上现有技术中存在问题的至少其一，本申请提供一种存算芯片内的加权融合变换部件、存算电路及协同计算方法。

根据本申请实施例的第一方面，本申请提供一种存算芯片内的加权融合变换部件，包括：

第一加法器，与存算阵列和查表寄存器连接，用于根据所述存算阵列的存算输出值以及所述查表寄存器的地址值得到索引地址，所述存算输出值为存算阵列实现像素级卷积计算获得的定点数据；

激活函数查表模块，与所述第一加法器连接，用于根据所述索引地址以及预设的查表映射表确定对应的权重值，所述权重值为预设的所述存算输出值对应的映射定点数据；

第一乘法器，与所述激活函数查表模块连接，用于根据定点化的第一图像数据以及所述权重值按位取反后的值得到第一乘积；

第二乘法器，与所述激活函数查表模块连接，用于根据定点化的第二图像数据以及所述权重值得到第二乘积；

第二加法器，与所述第一乘法器和所述第二乘法器连接，用于计算所述第一乘积与所述第二乘积的和值；

移位寄存器，与所述第二加法器连接，用于对所述和值进行移位操作，得到所述第一图像数据与所述第二图像数据对应的加权融合结果。

根据本申请实施例的第二方面，本申请提供一种存算芯片内的平方加权融合变换部件，包括：

第一加法器，与存算阵列和查表寄存器连接，用于根据所述存算阵列的存算输出值以及所述查表寄存器的地址值得到索引地址，所述存算输出值为存算阵列实现像素级卷积计算获得的定点数据；

激活函数查表模块，与所述第一加法器连接，用于根据所述索引地址以及预设的查表映射表确定对应的权重值，所述权重值为预设的所述存算输出值对应的映射定点数据；

第一乘法器，与所述激活函数查表模块连接，用于根据定点化的第一图像数据以及所述权重值按位取反后的值得到第一乘积；

第二乘法器，与所述激活函数查表模块连接，用于根据定点化的第二图像数据以及所述权重值得到第二乘积；