[发明专利]长短期记忆网络LSTM的训练系统、方法及电子设备

说明书

本申请提出一种长短期记忆网络LSTM的训练系统及方法。其中，所述系统包括：主模型处理器，用于存储并维护LSTM的主模型，其中，LSTM的主模型包括第一至第M个网络层，M为正整数；以及第一至第N处理器，用于分别根据LSTM的主模型生成本地副模型，第一至第N处理器分别包括第一至第M个处理单元，第一至第M个处理单元分别用于训练第一至第M个网络层，其中，N为正整数，第一至第M个处理单元中至少一个处理单元为半精度计算模式，其他处理单元为单精度计算模式。由此，通过这种LSTM的训练系统，在LSTM模型训练中采用半精度/单精度浮点的混合数值表示，不仅提升了模型训练的速度，而且提高了模型的精度与性能。

技术领域

本申请涉及计算机应用技术领域，尤其涉及一种长短期记忆网络LSTM的训练系统、方法、电子设备、存储介质及计算机程序产品。

背景技术

长短期记忆网络(Long Short-Term Memory，简称LSTM)是一种时间递归神经网络，LSTM已广泛应用于语音识别、翻译语言、图像识别、手写识别等应用场景。由于其时间递归的特点，LSTM神经网络的训练速度较慢，因此不断提升LSTM训练速度是学术界和产业界共同努力的方向。

神经网络模型具有较好的鲁棒性，其前向-反馈模式对数值精度有较好地容错能力，因此目前主要采用单精度浮点作为模型训练的数值表示。由于LSTM模型是计算密集型应用，其计算速度受限于计算单元的吞吐量，因此LSTM的训练主要依靠图形处理器(GraphicsProcessingUnit，简称GPU)获得加速。

相关技术中，在有限的硬件资源下，可以采用半精度浮点作为LSTM模型训练的数值表示，以进一步提升模型训练的速度。半精度浮点采用两个字节存储，其位宽只有单精度浮点的一半，因此计算速度更快、访存开销更小。但是，由于半精度浮点采用更低的位宽表示，其精度较单精度更低，因此会在LSTM模型中引入精度损失，从而导致LSTM模型不收敛或精度很低。

发明内容

本申请提出的长短期记忆网络LSTM的训练系统、方法、电子设备、存储介质及计算机程序产品，用于解决相关技术中，LSTM模型训练周期长，通过采用半精度浮点作为LSTM模型训练的数值表示提升模型训练速度的方法，又会在LSTM模型中引入精度损失，从而导致LSTM模型不收敛或精度很低的问题。

本申请一方面实施例提出的长短期记忆网络LSTM的训练系统，包括：主模型处理器，用于存储并维护所述LSTM的主模型，其中，所述LSTM的主模型包括第一至第M个网络层，M为正整数；以及第一至第N处理器，用于分别根据LSTM的主模型生成本地副模型，所述第一至第N处理器分别包括第一至第M个处理单元，所述第一至第M个处理单元分别用于训练所述第一至第M个网络层，其中，N为正整数，所述第一至第M个处理单元中至少一个处理单元为半精度计算模式，其他处理单元为单精度计算模式。

本申请实施例提供的长短期记忆网络LSTM的训练系统，包括主模型处理器及第一至第N处理器，其中，第一至第N处理器分别包括第一至第M个处理单元。主模型处理器，用于存储并维护LSTM的主模型，其中，LSTM的主模型包括第一至第M个网络层，M为正整数，第一至第N处理器，用于分别根据LSTM的主模型生成本地副模型，第一至第M个处理单元分别用于训练第一至第M个网络层，其中，N为正整数，第一至第M个处理单元中至少一个处理单元为半精度计算模式，其他处理单元为单精度计算模式。由此，通过在LSTM模型训练中采用半精度/单精度浮点的混合数值表示，不仅提升了模型训练的速度，而且提高了模型的精度与性能。

可选地，在第一方面实施例的一种可能的实现形式中，所述长短期记忆网络LSTM的训练系统，还包括：

至少一个转换单元，所述至少一个转换单元位于所述第一处理器中的至少一个半精度计算模式的处理单元和对应的网络层之间，用于对所述第一处理器中的半精度计算模式的处理单元和对应的网络层之间的数据进行半精度/单精度转换。