[发明专利]神经网络训练方法及装置、电子设备及可读存储介质

说明书

本发明公开了一种神经网络训练方法及装置、电子设备及可读存储介质。其中，该方法包括：获取第一训练特征以及第二训练特征，其中，第二训练特征与第一训练特征为相似特征；根据第一结果以及第二结果确定训练损失，其中，第一结果是由目标神经网络对第一训练特征进行预测得到的，第二结果是由目标神经网络对第二训练特征进行预测得到的；根据训练损失对目标神经网络进行训练。本发明解决了由于相关技术中文本识别模型无法识别相似特征，而导致文本识别模型预测准确度低的技术问题。

技术领域

本发明涉及数据库技术领域，具体而言，涉及一种神经网络训练方法及装置、电子设备及可读存储介质。

背景技术

相关技术中BERT模型(Bidirectional Encoder Representation fromTransformers)为了解决文本上下文contextual的问题，而BERT模型的损失loss在处理近义词、近义短语、近义句子时，没有做特别的处理，

例如“解决一个问题”和“解决两个问题”这两句话，数据增强mask第3个字后，BERT模型无法预测进行数据增强后的两句话，也就是说BERT模型无法区分这个字，无法识别近义词、近义短语以及近义句子。

可见，相关技术中针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种神经网络训练方法及装置、电子设备及可读存储介质，以至少解决由于相关技术中文本识别模型无法识别相似特征，而导致文本识别模型预测准确度低的技术问题。

根据本发明实施例的一个方面，提供了一种神经网络训练方法，包括：获取第一训练特征以及第二训练特征，其中，所述第二训练特征与所述第一训练特征为相似特征；根据所述第一结果以及所述第二结果确定训练损失，其中，所述第一结果是由目标神经网络对第一训练特征进行预测得到的，所述第二结果是由目标神经网络对第二训练特征进行预测得到的；根据所述训练损失对所述目标神经网络进行训练。

进一步地，所述目标神经网络为文本识别模型，所述第一训练特征以及所述第二训练特征为文本，其中，获取第一训练特征以及第二训练特征，包括以下至少之一：对所述第一训练特征中的词进行数据增强，以得到所述第二训练特征；对所述第一训练特征中的短语进行数据增强，以得到所述第二训练特征；对所述第一训练特征中的语句进行数据增强，以得到所述第二训练特征。

进一步地，根据所述第一结果以及所述第二结果确定训练损失，包括：在所述第一训练特征与所述第二训练特征为词不同的情况下，对所述第一结果以及所述第二结果进行互斥，以得到词训练损失。

进一步地，根据所述第一结果以及所述第二结果确定训练损失，包括：在所述第一训练特征与所述第二训练特征为短语不同的情况下，对所述第一结果以及所述第二结果进行互斥，以得到短语训练损失。

进一步地，根据所述第一结果以及所述第二结果确定训练损失，包括：在所述第一训练特征与所述第二训练特征为语句不同的情况下，对所述第一结果以及所述第二结果进行互斥，以得到语句训练损失。

进一步地，根据所述第一结果以及所述第二结果确定训练损失，包括：将所述第二结果输入至预设解码器，以得到所述预设解码器对应的第一解码损失。

进一步地，根据所述第一结果以及所述第二结果确定训练损失，还包括：对所述第一结果以及所述解码损失进行吸引，以得到第二解码损失。

根据本发明实施例的另一方面，还提供了一种神经网络训练装置，包括：获取单元，用于获取第一训练特征以及第二训练特征，其中，所述第二训练特征与所述第一训练特征为相似特征；确定单元，用于根据所述第一结果以及所述第二结果确定训练损失，其中，所述第一结果是由目标神经网络对第一训练特征进行预测得到的，所述第二结果是由目标神经网络对第二训练特征进行预测得到的；训练单元，用于根据所述训练损失对所述目标神经网络进行训练。