[发明专利]一种提取数据特征的方法和相关装置

说明书

本申请提供了人工智能领域中提取数据特征的方法和装置。本申请的技术方案中，采用加法卷积运算，基于量化后的特征提取参数提取量化后的数据中的目标特征，即计算量化后的特征提取参数和量化后的数据的差值的绝对值之和，以根据该和获取目标特征，这样可以在节省存储资源的同时还能节省计算资源，从而可以减小人工智能在资源受限的设备上的应用。此外，本申请还提出了使用相同的量化参数对特征提取参数和数据进行量化，这样，在对提取到的特征数据进行反量化时，可以基于该量化参数对特征数据进行反量化，从而可以在提高特征数据的精准度的同时还能降低计算复杂度，进而节省计算资源。进一步地，本申请还提供了用于实现该加法卷积运算的硬件装置。

技术领域

本申请涉及人工智能领域的数据计算技术，并且更具体地，涉及一种提取数据特征的 方法和相关装置。

背景技术

人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器 模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、 技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质， 并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各 种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域 的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索， AI基础理论等。

神经网络(neural network，NN)作为人工智能的重要分支，是一种模仿动物神经网 络行为特征进行信息处理的网络结构。神经网络的结构由大量的节点(或称神经元)相互 联接构成，基于特定运算模型通过对输入信息进行学习和训练达到处理信息的目的。一个 神经网络包括输入层、隐藏层及输出层，输入层负责接收输入信号，输出层负责输出神经 网络的计算结果，隐藏层负责学习、训练等计算过程，是网络的记忆单元，隐藏层的记忆功能由权重矩阵来表征，通常每个神经元对应一个权重参数。

其中，卷积神经网络(convolutional neural network，CNN)是一种多层的神经网络， 每层由多个二维平面组成，而每个平面由多个独立神经元组成，每个平面的多个神经元共 享权重，通过权重共享可以降低神经网络中的参数数目。目前，在卷积神经网络中，处理 器进行卷积操作通常是将输入信号与权重的卷积，转换为信号矩阵与权重矩阵之间的矩阵 乘运算，以提取输入信号的特征信息。在具体矩阵乘运算时，对信号矩阵和权重矩阵进行 分块处理，得到多个分形(Fractional)信号矩阵和分形权重矩阵，然后对多个分形信号矩 阵和分形权重矩阵进行矩阵乘和累加运算。

随着神经网络性能的增强，神经网络的权重参数也越来越多，神经网络运行时对存储、 计算等的需求和消耗也越来越大，这不利用基于神经网络的人工智能在资源受限的硬件终 端设备中进行应用。

经过研究发现，神经网络具有很好的鲁棒性。这使得对大型神经网络的权重参数进行 量化，减小权重参数精度之后，该神经网络依然可以保持良好的性能。因此，本领域技术 人员提出了，若训练好的神经网络需要导入到资源受限的终端设备上应用，则可以对该神 经网络的权重参数进行量化，以实现对该神经网络进行模型压缩的目的。这样，压缩后的 神经网络在终端设备上应用时，可以减小权重参数的存储消耗以及基于该神经网络对输入 信号进行特征提取操作的计算消耗。其中，在终端设备基于压缩后的神经网络对输入信号 进行特征提取时，为了保证提取到的特征的精确度，可以对该神经网络的权重参数进行反 量化。

但是，经研究还发现，基于量化后的神经网络的权重参数对输入信息进行乘法卷积时， 所需的硬件电路资源非常多，计算复杂度高，能耗还是非常大。也就是说，基于量化后的 神经网络的权重参数对输入信息进行乘法卷积所需的大量计算资源限制了人工智能在计 算资源受限的设备上的应用。

因此，如何降低基于量化后的神经网络对输入信息进行特征提取所需的计算资源，是 亟待解决的技术问题。

发明内容