[发明专利]训练数据生成及模型训练方法、装置及计算机存储介质

权利要求书

1.一种训练数据生成方法，其特征在于，包括：

根据随机确定的粒度级别，确定目标文本的构造位置；

根据随机确定的片段长度、所述目标文本的构造位置、确定所述目标文本的构造片段；

根据随机确定的构造规则、所述目标文本的构造位置和构造片段，重构所述目标文本，生成所述目标文本的构造文本；

根据所述目标文本和所述构造文本，获得所述目标文本的训练数据。

2.根据权利要求1所述的方法，其特征在于，所述目标文本为平滑文本，所述构造文本为不平滑文本。

3.根据权利要求1所述的方法，其特征在于，所述粒度级别包括字粒度级别、词粒度级别中的一个；

其中，所述根据随机确定的粒度级别，确定目标文本的构造位置，包括：

基于随机确定的粒度级别识别所述目标文本，确定所述目标文本中的多个粒度特征；

基于所述目标文本中的各粒度特征、随机确定的构造数量，确定所述目标文本中的至少一个构造位置。

4.根据权利要求3所述的方法，其特征在于，所述根据随机确定的片段长度、所述目标文本的构造位置、确定所述目标文本的构造片段，包括：

针对所述目标文本的各构造位置中的任意一个当前构造位置，

将所述当前构造位置对应的粒度特征中的第一个字符确定为片段起点；

基于随机确定的片段长度、所述当前构造位置的片段起点，确定所述当前构造位置的片段终点；

基于所述片段起点和所述片段终点，确定所述当前构造位置的当前构造片段。

5.根据权利要求4所述的方法，其特征在于，所述构造规则至少包括：完全重复构造规则、部分重复构造规则、替换构造规则、交换构造规则中的一个；且其中，

所述根据随机确定的构造规则、所述目标文本的构造位置和构造片段，重构所述目标文本，生成所述目标文本的构造文本，包括：

根据随机确定的当前构造规则、所述当前构造片段，确定满足所述当前构造规则的待编辑文本；

根据所述当前构造位置、所述待编辑文本，对所述目标文本执行重构处理，生成所述目标文本的构造文本。

6.根据权利要求4所述的方法，其特征在于，所述构造规则至少包括插入构造规则；且其中，

所述根据随机确定的构造规则、所述目标文本的构造位置和构造片段，重构所述目标文本，生成所述目标文本的构造文本，包括：

根据所述插入构造规则、所述当前构造片段，从各预设插入文本中随机确定一个待插入文本；

根据所述当前构造位置、所述待插入文本，对所述目标文本执行重构处理，生成所述目标文本的构造文本。

7.一种模型训练方法，其特征在于，包括：

利用文本处理模型，对训练数据中的构造文本执行文本平滑处理，获得所述构造文本的预测文本；

根据所述训练数据中的目标文本、所述预测文本，获取所述文本处理模型的损失函数；

根据所述损失函数更新所述文本处理模型，直至所述损失函数满足训练结束条件，以获得训练好的文本处理模型；

其中，所述训练数据是由如权利要求1至6中任一项所述的训练数据生成方法所生成的。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

获取不平滑的仿真文本；

利用所述文本处理模型，对所述仿真文本执行文本平滑处理，并根据文本平滑处理结果，确定所述仿真文本中各字符特征单元对应的各预测标签；

比对所述仿真文本中同一字符特征单元的预测标签和真实标签，并根据比对结果优化所述文本处理模型；

其中，所述预测标签或所述真实标签包括平滑标签、不平滑标签中的一个；

其中，所述字符特征单元包含至少一个字符。