[发明专利]语言模型的训练方法及装置

权利要求书

1.一种语言模型的训练方法，其特征在于，包括：

获取语料；

将语料中的每个字作为目标字，获取每个目标字的笔画序列和义元信息；

根据每个目标字的笔画序列、义元信息以及标签训练所述语言模型；

其中，所述标签用于表征所述目标字在语料中的后一个字；

所述语言模型包括第一神经网络模型、第二神经网络模型和第三神经网络模型；

相应地，所述根据每个目标字的笔画序列、义元信息以及标签训练所述语言模型，具体为：

将每个目标字的笔画序列输入至所述第一神经网络模型，输出每个目标字的笔画特征；

将每个目标字的义元信息，连同每个目标字的笔画特征一并输入至所述第二神经网络模型，输出每个目标字的字向量；

将每个目标字的字向量连同标签一并输入至所述第三神经网络模型，根据所述第三神经网络模型的输出，训练所述语言模型。

2.根据权利要求1所述的语言模型的训练方法，其特征在于，所述获取每个目标字的笔画序列，具体为：

获取每种笔画的多维度特征；

获取每个目标字的所有笔画，根据每种笔画的多维度特征，获得所述目标字的笔画序列。

3.根据权利要求1所述的语言模型的训练方法，其特征在于，所述第一神经网络包括若干种不同大小的卷积核，每种卷积核的数目预先确定；

相应地，所述将每个目标字的笔画序列输入至所述第一神经网络模型，输出每个目标字的笔画特征，具体为：

对于任意一个目标字，将所述目标字的笔画序列输入至每个卷积核，输出特征映射图；

根据所有卷积核输出的特征映射图，输出每个目标字的笔画特征。

4.根据权利要求3所述的语言模型的训练方法，其特征在于，所述第一神经网络还包括池化层；

所述根据所有卷积核输出的特征映射图，输出每个目标字的笔画特征，具体为：

将所有卷积核输出的特征映射图输入至池化层，输出由每个特征映射图中的最大值链接而成的向量，作为目标字的笔画特征。

5.根据权利要求1所述的语言模型的训练方法，其特征在于，所述第二神经网络模型包括平均策略层和第一拼接层；

相应地，所述将每个目标字的义元信息，连同每个目标字的笔画特征一并输入至所述第二神经网络模型，输出每个目标字的字向量，具体为：

将每个目标字的义元信息输入所述平均策略层，输出所述目标字的所有意思信息以及目标字的第一语义信息，所述第一语义信息为目标字的所有意思信息的平均值；

将所述每个目标字的第一语义信息与笔画特征输入至第一拼接层进行拼接，获得所述每个目标字的字向量。

6.根据权利要求1所述的语言模型的训练方法，其特征在于，所述第二神经网络模型包括双向LSTM层、关注策略层以及第二拼接层；

相应地，所述将每个目标字的义元信息，连同每个目标字的笔画特征一并输入至所述第二神经网络模型，输出每个目标字的字向量，具体为：

将所有目标字的笔画特征输入至所述双向LSTM层，输出每个目标字的上下文信息；

将每个目标字的义元信息以及上下文信息输入关注策略层，输出所述每个目标字的第二语义信息；

将每个目标字的第二语义信息和笔画特征输入至第二拼接层进行拼接，输出每个目标字的字向量。