[发明专利]一种基于矩阵共享的神经网络权重编码方法及硬件系统

说明书

本发明公开了一种基于共享矩阵的神经网络权重编码方法及硬件系统，属于神经网络算法硬件实现技术领域。所述方法针对当前权重编码方法存算器件数量需求多、存算阵列尺寸大、开销大的问题，利用共享矩阵的方式实现对神经网络卷积核中的权重参数两两编码，相比于传统的独立对每个权重参数进行编码的方法，减少了存算阵列中存算器件的个数，在保证神经网络准确度的前提下，提高了存算器件使用效率，降低了网络开销。同时，本发明的编码方法兼容性好，不受非易失性存算器件类型的限制。相比于现有的编码方法，基于共享矩阵的编码方法更适用于大规模、超大规模的存算架构。

技术领域

本发明涉及一种基于矩阵共享的神经网络权重编码方法及硬件系统，属于神经网络算法硬件实现技术领域。

背景技术

随着深度学习的发展，神经网络在图像识别、语音识别、自然语言处理等诸多领域有着越来越广泛的应用。但是，随着网络架构变得越来越复杂，神经网络中的数据传输量和计算量急剧增加。此外，计算与数据传输带来极大的功耗，使得神经网络应用在硬件设备上难以部署。

近年来，用于神经网络计算的存算一体架构得到了人们的广泛关注与研究，其基本思想是通过将权重映射存储到存算阵列内，从而把一些简单但数据量巨大的逻辑计算功能放在存储器中完成，以减少存储器与处理器之间的数据传输量以及传输距离。

经典非易失性存算阵列的运作原理如图1所示。为了计算两个相乘矩阵将权重矩阵W的值以电导形式储存在存算阵列中，再将矩阵的值以电压形式输入到存算阵列的输入端，从存算阵列的输出端得到电流形式的运算结果，完成存算一体化的全过程。

神经网络中的权重参数通常有正负之分，为了在存算阵列中表示出权重参数往往采用正、负矩阵的表达方式，将编码后的值分别存储在正、负两个矩阵之中，而后将两个矩阵的输出结果进行相减，以矩阵的差值来表示权重参数的值。如图2所示，当前的编码方法独立地处理每个权重参数，映射至正、负矩阵中，即每表示一个权重便至少需要两个存算器件。在个别追求高精度的应用场景下，以多个正矩阵器件和多个负矩阵器件表示一个权重，平均每个权重参数的器件开销甚至更多。

如今简单的神经网络难以满足任务需求，因此神经网络的结构愈加复杂，规模不断扩大，从而存算一体架构应用场景变得越来越广泛和复杂，在硬件领域实现大规模、超大规模的神经网络是存算一体架构发展的必经之路。随着神经网络深度和参数的增加，硬件实现过程中所需的器件数量和阵列尺寸就不可避免地变得愈发庞大。庞大的阵列尺寸又带来包括成本、芯片面积、寄生参数以及可测试性在内的等一系列问题，硬件实现的难度随着器件数量的增加成倍增长。

发明内容

针对现有的神经网络权重编码方法在神经网络硬件实现时存算器件数量需求大，存算阵列尺寸大、开销大的问题，本发明提供一种基于矩阵共享的神经网络权重参数编码方法及硬件系统。

本发明的第一个目的在于提供一种基于矩阵共享的神经网络权重参数编码方法，其特征在于，所述方法包括：

步骤一：将训练好的神经网络卷积核中的权重参数进行定点化处理；

步骤二：对神经网络中的卷积核进行分组，当卷积核的个数为偶数时，将所有卷积核两两分组；当卷积核个数为奇数时，任意取出一个卷积核后，将剩余卷积核两两分组；

步骤三：计算实际编码值，包括：

对步骤二中任意取出的一个卷积核中的权重参数进行独立编码，每个权重参数经过编码后输出两个实际编码值，并映射存储至正矩阵和负矩阵；

对于步骤二中所述两两分组的卷积核：对同一组的卷积核中相同位置的两个权重参数进行两两编码，每两个权重参数经过编码后输出三个实际编码值，并映射存储至三个矩阵；

步骤四：将存储实际编码值的矩阵进行拼接，得到编码后的神经网络权重矩阵。