[发明专利]语言模型的训练方法和预测方法

权利要求书

1.一种语言模型的训练方法，其特征在于，包括：

获取训练文本序列，并随机生成所述训练文本序列中需要通过语言模型建模分析的字或词的目标位置；

对所述目标位置处的字或词进行掩码替换，生成掩码替换后的文本序列；

生成被替换的字或词的受限词表；

根据所述掩码替换后的文本序列和所述受限词表，生成所述受限词表中的每个词在所述受限词表空间上的概率分布；以及

根据所述被替换的字或词以及在所述受限词表空间上的概率分布计算交叉熵函数，并进行迭代优化。

2.如权利要求1所述的语言模型的训练方法，其特征在于，所述根据所述掩码替换后的文本序列和所述受限词表，生成在所述受限词表空间上的概率分布，包括：

根据所述掩码替换后的文本序列、词向量表和位置向量表，生成输入向量数组表示；

将所述输入向量数组表示通过深度双向转换编码器，生成编码向量数组表示；

根据所述目标位置从所述编码向量数组表示中提取与掩码对应的目标编码向量数组表示；

根据所述目标编码向量数组表示和所述受限词表，生成在所述受限词表空间上的概率分布。

3.如权利要求2所述的语言模型的训练方法，其特征在于，所述根据所述掩码替换后的文本序列、词向量表和位置向量表，生成输入向量数组表示，包括：

根据所述掩码替换后的文本序列和词向量表，生成所述掩码替换后的文本序列的词向量数组表示；

根据所述掩码替换后的文本序列的长度和位置向量表，生成所述掩码替换后的文本序列的位置向量数组表示；

根据所述掩码替换后的文本序列的词向量数组表示和位置向量数组表示，生成输入向量数组表示。

4.如权利要求1所述的语言模型的训练方法，其特征在于，所述生成被替换的字或词的受限词表，包括：

以所述被替换的字或词为中心，结合上下文查询词典，生成所述受限词表，所述词典包括PT词典、音近词典和形近词典中的一种或多种。

5.如权利要求4所述的语言模型的训练方法，其特征在于，若结合上下文查询的词典的数量至少为两个，所述以所述被替换的字或词为中心，结合上下文查询词典，生成所述受限词表，包括：

以所述被替换的字或词为中心结合上下文，通过查询各词典得到受限词表的候选字或词集合；

根据各词典的优先级和所述候选字或词集合中候选字或词的权重计算得出候选字或词的排序列表；

根据设定的受限词表的大小，从所述排序列表中选取前受限词表的大小数量的候选字或词，构成受限词表。

6.一种语言模型的预测方法，其特征在于，包括：

获取待预测文本序列，并生成所述待预测文本序列中需要通过所述语言模型分析的字或词的目标位置；

对所述目标位置处的字或词进行掩码替换，以生成掩码替换后的文本序列；

生成被替换的字或词的受限词表；

根据所述掩码替换后的文本序列和所述受限词表，生成所述语言模型在所述受限词表空间上的概率分布；以及

根据在所述受限词表空间上的概率分布生成预测结果。

7.如权利要求6所述的语言模型的预测方法，其特征在于，所述根据所述掩码替换后的文本序列和所述受限词表，生成所述语言模型在所述受限词表空间上的概率分布，包括：

根据所述掩码替换后的文本序列、词向量表和位置向量表，生成输入向量数组表示；

将所述输入向量数组表示通过深度双向转换编码器，生成编码向量数组表示；

根据所述目标位置从所述编码向量数组表示中提取与掩码对应的目标编码向量数组表示；

根据所述目标编码向量数组表示和所述受限词表，生成在所述受限词表空间上的概率分布。