[发明专利]文本纠错模型的训练方法、设备和存储介质

权利要求书

1.一种文本纠错模型的训练方法，其特征在于，包括：

基于从预设的多个伪标记规则中随机选取的伪标记规则，对获取的无标记数据中每条文本进行伪标记构造，得到与每条文本对应的伪标记文本；

检测伪标记构造次数是否达到预设迭代次数；

若所述伪标记构造次数达到所述预设迭代次数，将所有的伪标记文本作为伪标记数据；

将所述伪标记数据和获取的已标记数据作为源端数据，将所述无标记数据作为目标端数据，并基于指针网络的序列到序列方法训练文本纠错模型。

2.根据权利要求1所述的文本纠错模型的训练方法，其特征在于，预设的多个伪标记规则包括：

在每条文本中每个词的位置以预设的第一概率随机删除至少一个字；和/或

在每条文本中每个词的位置以预设的第一概率随机插入至少一个字；和/或

将每条文本中每个词的位置按照正态分布添加噪声，并对添加噪声后的每个词重新进行排序；和/或

收集并构建音近字字典，并将每条文本中的每个词按照预设的第三概率替换成音近字；和/或

收集并构建形近字字典，并将每条文本中的每个词按照预设的第四概率替换成形近字；和/或

维持每条文本中每个词。

3.根据权利要求2所述的文本纠错模型的训练方法，其特征在于，预设的多个伪标记规则包括在每条文本中每个词的位置以预设的第一概率随机插入至少一个字，所述方法还包括：

根据所述无标记数据中字符频率构建字表；

从所述字表中选取插入的至少一个字。

4.根据权利要求3所述的文本纠错模型的训练方法，其特征在于，根据所述无标记数据中字符频率构建字表，包括：

将所述无标记数据中字符频率大于或等于预设阈值的字符作为目标字符；

根据所述目标字符构建所述字表。

5.根据权利要求1所述的文本纠错模型的训练方法，其特征在于，基于指针网络的序列到序列方法训练文本纠错模型，包括：

对所述源端数据进行字序列划分，并将得到的字序列进行词向量处理，得到所述字序列对应的字矩阵；

利用编码器对所述字矩阵进行编码，得到输入字序列编码表示；

利用解码器，在注意力机制下，对所述输入字序列编码进行解码，得到与所述源端数据相对应的纠错数据；

基于所述纠错数据和目标端数据，确定损失值；

基于所述损失值，对当前模型进行迭代训练，直至达到训练停止条件，得到文本纠错模型。

6.根据权利要求5所述的文本纠错模型的训练方法，其特征在于，对所述输入字序列编码进行解码，得到与所述源端数据相对应的纠错数据，包括：

对所述输入字序列编码进行解码，得到纠错后的输出字序列编码表示；

将所述输出字序列编码表示输入编码器的逻辑回归层进行线性变换，输出每个时刻t在目标端数据中的初始概率分布；

根据每个时刻t在目标端数据中的概率分布和获取的复制机制得分，确定每个时刻t在目标端数据中的融合概率分布；

选取最大融合概率对应的字作为时刻t的生成的结果；

基于所有时刻的字，生成与所述源端数据相对应的纠错数据。

7.根据权利要求6所述的文本纠错模型的训练方法，其特征在于，所述复制机制得分的获取过程包括：

将所述输出字序列编码表示进行矩阵变换，得到输出向量；

将编码器的隐状态进行矩阵变换，得到键向量和值向量；

根据所述输出向量、所述键向量和所述值向量，确定所述复制机制得分。