[发明专利]语义特征提取模型的训练方法、装置、设备及存储介质

说明书

本申请公开了一种语义特征提取模型的训练方法、装置、设备及存储介质，涉及人工智能技术领域。所述方法包括：获取语义特征提取模型的训练语料，训练语料包括目标语言的字词文本语料及其发音标注信息；获取字词文本语料的字词表示向量序列及其发音标注信息的发音表示向量序列；通过语义特征提取模型，从字词表示向量序列和发音表示向量序列中，提取融合语义特征；基于融合语义特征，确定语义特征提取模型的预训练任务所对应的预测结果；基于预测结果和真实结果确定语义特征提取模型的预训练损失，并根据预训练损失调整语义特征提取模型的参数，得到预训练完成的语义特征提取模型。本申请能够提升语义特征提取模型的语义表示能力。

技术领域

本申请实施例涉及人工智能技术领域，特别涉及一种语义特征提取模型的训练方法、装置、设备及存储介质。

背景技术

语义特征提取模型是用于提取文本的语义特征的神经网络模型，实现对文本的建模表示。

在相关技术中，在对文本进行建模表示时，通常是基于该文本中包含的字词特征，通过语义特征提取模型从该字词特征中提取文本的语义特征。采用这种方式训练生成的语义特征提取模型，其语义表示能力欠佳。

发明内容

本申请实施例提供了一种语义特征提取模型的训练方法、装置、设备及存储介质，能够提升语义特征提取模型的语义表示能力。所述技术方案如下：

根据本申请实施例的一个方面，提供了一种语义特征提取模型的训练方法，所述方法包括：

获取所述语义特征提取模型的训练语料，所述训练语料包括目标语言的字词文本语料和所述字词文本语料的发音标注信息；

获取所述字词文本语料的字词表示向量序列，以及所述字词文本语料的发音标注信息的发音表示向量序列；

通过所述语义特征提取模型，从所述字词文本语料的字词表示向量序列和发音表示向量序列中，提取所述字词文本语料的融合语义特征；

基于所述字词文本语料的融合语义特征，确定所述语义特征提取模型的预训练任务所对应的预测结果；

基于所述预训练任务所对应的预测结果和真实结果确定所述语义特征提取模型的预训练损失，并根据所述预训练损失调整所述语义特征提取模型的参数，得到预训练完成的语义特征提取模型。

根据本申请实施例的一个方面，提供了一种语义特征提取模型的训练装置，所述装置包括：

语料获取模块，用于获取所述语义特征提取模型的训练语料，所述训练语料包括目标语言的字词文本语料和所述字词文本语料的发音标注信息；

序列获取模块，用于获取所述字词文本语料的字词表示向量序列，以及所述字词文本语料的发音标注信息的发音表示向量序列；

特征提取模块，用于通过所述语义特征提取模型，从所述字词文本语料的字词表示向量序列和发音表示向量序列中，提取所述字词文本语料的融合语义特征；

结果确定模块，用于基于所述字词文本语料的融合语义特征，确定所述语义特征提取模型的预训练任务所对应的预测结果；

参数调整模块，用于基于所述预训练任务所对应的预测结果和真实结果确定所述语义特征提取模型的预训练损失，并根据所述预训练损失调整所述语义特征提取模型的参数，得到预训练完成的语义特征提取模型。

根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述语义特征提取模型的训练方法。