[发明专利]语义特征提取模型的训练方法、装置、设备及存储介质

权利要求书

1.一种语义特征提取模型的训练方法，其特征在于，所述方法包括：

获取所述语义特征提取模型的训练语料，所述训练语料包括目标语言的字词文本语料和所述字词文本语料的发音标注信息；

获取所述字词文本语料的字词表示向量序列，以及所述字词文本语料的发音标注信息的发音表示向量序列；

通过所述语义特征提取模型，从所述字词文本语料的字词表示向量序列和发音表示向量序列中，提取所述字词文本语料的融合语义特征；

基于所述字词文本语料的融合语义特征，确定所述语义特征提取模型的预训练任务所对应的预测结果；

基于所述预训练任务所对应的预测结果和真实结果确定所述语义特征提取模型的预训练损失，并根据所述预训练损失调整所述语义特征提取模型的参数，得到预训练完成的语义特征提取模型。

2.根据权利要求1所述的方法，其特征在于，所述通过所述语义特征提取模型，从所述字词文本语料的字词表示向量序列和发音表示向量序列中，提取所述字词文本语料的融合语义特征，包括：

对所述字词文本语料的字词表示向量序列和发音表示向量序列进行融合处理，得到所述字词文本语料的融合表示向量序列；

通过所述语义特征提取模型对所述字词文本语料的融合表示向量序列进行特征提取处理，得到所述字词文本语料的融合语义特征。

3.根据权利要求2所述的方法，其特征在于，所述对所述字词文本语料的字词表示向量序列和发音表示向量序列进行融合处理，得到所述字词文本语料的融合表示向量序列，包括：

将所述字词文本语料的字词表示向量序列和发音表示向量序列中，对应于同一字词位置处的字词表示向量和发音表示向量进行求平均处理，得到所述字词文本语料的融合表示向量序列；

或者，

将所述字词文本语料的字词表示向量序列和发音表示向量序列中，对应于同一字词位置处的字词表示向量和发音表示向量进行拼接处理，得到所述字词文本语料的融合表示向量序列；

或者，

将所述字词文本语料的字词表示向量序列和发音表示向量序列输入至字词发音融合网络；通过所述字词发音融合网络对所述字词文本语料的字词表示向量序列和发音表示向量序列中，对应于同一字词位置处的字词表示向量和发音表示向量进行加权求和处理，得到所述字词文本语料的融合表示向量序列。

4.根据权利要求1所述的方法，其特征在于，所述通过所述语义特征提取模型，从所述字词文本语料的字词表示向量序列和发音表示向量序列中，提取所述字词文本语料的融合语义特征，包括：

将所述字词文本语料的字词表示向量序列加上第一类型标注向量序列，得到更新后的字词表示向量序列；

将所述字词文本语料的发音表示向量序列加上第二类型标注向量序列，得到更新后的发音表示向量序列；其中，所述第一类型标注向量序列和所述第二类型标注向量序列，用于对所述字词文本语料的字词表示向量序列和发音表示向量序列进行区分；

将所述更新后的字词表示向量序列和所述更新后的发音表示向量序列进行拼接，得到拼接向量序列；

通过所述语义特征提取模型对所述拼接向量序列进行特征提取处理，得到所述字词文本语料的融合语义特征。

5.根据权利要求1所述的方法，其特征在于，所述语义特征提取模型包括第一提取子模型和第二提取子模型；

所述通过所述语义特征提取模型，从所述字词文本语料的字词表示向量序列和发音表示向量序列中，提取所述字词文本语料的融合语义特征，包括：

通过所述第一提取子模型从所述字词文本语料的字词表示向量序列中，提取字词语义特征；

通过所述第二提取子模型从所述字词文本语料的发音表示向量序列中，提取发音语义特征；

对所述字词语义特征和所述发音语义特征进行融合处理，得到所述字词文本语料的融合语义特征。

6.根据权利要求5所述的方法，其特征在于，所述对所述字词语义特征和所述发音语义特征进行融合处理，得到所述字词文本语料的融合语义特征，包括：

采用自注意力机制对所述字词语义特征和所述发音语义特征进行融合处理，得到所述字词文本语料的融合语义特征。