[发明专利]一种编码网络的训练方法、文本编码方法和系统

说明书

本说明书实施例提供了一种编码网络的训练方法、文本编码方法和系统，包括：获取训练文本；确定训练文本中的遮罩片段；通过编码模型确定训练文本中的遮罩片段的上文向量表示和下文向量表示；基于上文向量表示和下文向量表示，通过预测模型确定遮罩片段中各字符对应的出现概率；基于包含出现概率项的损失函数更新编码模型和预测模型的参数；其中，编码模型以及预测模型分别具有编码网络，且共享编码网络的参数，还包括：基于所的字符向量序列，通过编码模型进行多次处理以获得文本中两个或以上连续字符组成的字符串的向量表示，编码模型用于接收第一向量表示与第二向量表示，输出组合向量表示及组合概率值。

技术领域

本说明书涉及计算机技术领域，特别涉及编码网络的训练方法、文本编码方法和系统。

背景技术

随着计算机技术领域的飞速发展，在自然语言处理的相关技术中，对文本处理的要求也越来越高。在文本处理中，会对文本进行编码，文本编码是一个对文本处理以生成对应特征表示(如向量表示)的过程，自然语言中的文本通常是由字符构成词语、短语、句子，即文本具有句法结构，在文本编码过程中，如果在文本编码时考虑文本的句法结构，则可以得到语义表征更加有意义和准确的特征表示。

为此，本说明书提供了一种编码网络的训练方法、文本编码方法和系统。

发明内容

本说明书一个方面提供一种编码网络的训练方法，包括：获取训练文本；确定所述训练文本中的遮罩片段，所述遮罩片段包括单个字符或连续的两个以上字符；通过编码模型确定所述训练文本中的遮罩片段的上文向量表示和下文向量表示；基于所述上文向量表示和所述下文向量表示，通过预测模型确定所述遮罩片段中各字符对应的出现概率；基于包含出现概率项的损失函数更新所述编码模型和所述预测模型的参数；其中，所述编码模型以及所述预测模型分别具有编码网络，且共享编码网络的参数。

本说明书另一个方面提供一种编码网络的训练的系统，包括：获取模块，用于获取训练文本；片段确定模块，用于确定所述训练文本中的遮罩片段，所述遮罩片段包括单个字符或连续的两个以上字符；向量表示获取模块，用于通过编码模型确定所述训练文本中的遮罩片段的上文向量表示和下文向量表示；预测模块，用于基于所述上文向量表示和所述下文向量表示，通过预测模型确定所述遮罩片段中各字符对应的出现概率；参数更新模块，用于基于包含出现概率项的损失函数更新所述编码模型和所述预测模型的参数；其中，所述编码模型以及所述预测模型分别具有编码网络，且共享编码网络的参数。

本说明书另一个方面提供一种编码网络的训练的装置，包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以所述的编码网络的训练方法。

本说明书另一个方面提供一种文本编码方法，包括：基于所述文本的字符向量序列，通过编码模型进行多次处理以获得所述文本中两个或以上连续字符组成的字符串的向量表示，所述编码模型用于接收第一向量表示与第二向量表示，输出组合向量表示及组合概率值；其中一次处理包括：获取字符串在一种或以上分裂方式下的左子串向量表示、左子串概率值、右子串向量表示以及右子串概率值；利用所述编码模型处理各分裂方式下的左子串向量表示与右子串向量表示，获得所述字符串在各分裂方式下的组合向量表示以及组合概率值；基于各分裂方式下的左子串概率值、右子串概率值以及组合概率值，确定所述字符串在各分裂方式下的第一字符串概率值；基于各分裂方式下的第一字符串概率值获得权重系数；基于所述权重系数对各分裂方式下的组合向量表示进行加权求和，得到所述字符串的所述向量表示；基于所述权重系数对各分裂方式下的第一字符串概率值进行加权求和，得到所述字符串的字符串概率值。