[发明专利]基于轻量化Transformer网络的语音识别系统及方法

说明书

本发明涉及人工智能领域中的语音识别技术，具体公开了一种基于轻量化Transformer网络的语音识别系统及方法，系统包括预处理模块、第一前向传播模块、多头注意力模块、卷积模块、第二前向传播模块和全连接层模块，该系统通过模块化硬件设计且将部分参数利用忆阻交叉阵列予以实现，不仅具有较轻的网络模型，而且在不同的硬件规模下具有良好的识别精度，能有效地减少电路的能耗和面积开销，可以在功耗低、结构轻的边缘设备上实现语音识别任务，并具有较好的稳定性和抗噪性。

技术领域

本发明涉及人工智能领域中的语音识别技术，更具体地说，是一种基于轻量化Transformer网络的语音识别系统及方法。

背景技术

随着人工智能的发展，深度神经网络已经得到广泛应用，特别是在图像处理、语音识别、机器翻译等复杂任务中取得很好的表现。随着任务挑战性逐渐增强，业界也提出了许多更加复杂的网络模型，其中：Transformer网络(简称TN)是一个非常典型的深度神经网络模型，且引起了业界的广泛关注，同时也有许多基于经典TN模型的改进措施逐渐被提出。

传统的TN模型如图1所示，其核心思想是依赖于编码器和解码器架构，而这些架构主要是基于图2所示的注意力机制，通过图2可以看出，注意力机制实际就是通过查询矩阵W_Q、键矩阵W_K和值矩阵W_V计算输入信息特征X的单头注意力，而多头注意力就是将多个单头注意力串联起来，利用权重矩阵W^Z将其映射到最终输出。而随着TN的发展，其训练成本已经成为研究者无法承受的，甚至造成了很大的自然资源开销。例如，为了翻译一个只有30个单词的句子，一个TN模型往往需要超过10G的累乘计算参数。为了改善这一问题，许多改进的模型中引入了卷积层，包括深度可分卷积、轻量级卷积和GLU(门控线性单元)，缓解了基于纯注意机制引起的参数数量庞大问题，在减少参数数量的同时保持甚至超过了之前的准确度。尽管如此，将大尺寸的TN网络模型部署到边缘设备中需要牺牲大量的硬件资源，仍然具有挑战性。

而忆阻器是一种具有记忆功能的非线性和非易失性器件，使得它成为具有集成存储和计算功能的人工智能理想器件。此外，自从存储器与计算单元分离后，经典的冯-诺依曼计算架构(如CPU、GPU)仍然对系统功耗和延迟有很大影响，因此，迫切需要一种新型的神经网络计算架构来缓解存储和计算分离的影响。基于忆阻器的神经网络计算可以产生大规模的累乘电路，同时消耗很少的功率，这使得基于忆阻器的神经网络计算成为实现各种神经网络和算法的可靠选择。

因此，越来越多的研究人员试图将TN网络部署到基于忆阻器的内存计算硬件上，用于实际应用。然而，由于TN网络的复杂结构和大规模参数，现有的基于忆阻器的电路实现方案对于TN的应用仍然过于麻烦，无法应用于边缘设备。同时，目前还未发现基于忆阻器的TN网络完成语音识别相关工作，因此在忆阻器的神经形态计算框架上提供一个可靠、高效的硬件实现方案来实现语音识别任务是非常必要的。

发明内容

有鉴于此，本发明提供一种基于轻量化Transformer网络的语音识别系统，针对语音识别的应用需求，通过将轻量级的卷积模块电路融合到基于忆阻器的TN网络中，实现系统参数数量的大幅减少，使其满足边缘设备部署要求，确保其在实际应用中的可行性。

为实现上述目的，本发明所采用的具体技术方案如下：

一种基于轻量化Transformer网络的语音识别系统，其关键在于，包括预处理模块、第一前向传播模块、多头注意力模块、卷积模块、第二前向传播模块和全连接层模块，其中：

所述预处理模块用于采集语音数据并提取语音数据中的特征参数，形成训练样本、验证样本和测试样本；