[发明专利]文本处理方法及装置

权利要求书

1.一种文本处理方法，其特征在于，包括：

获取待纠错文本；

根据预设的文本检错规则对所述待纠错文本进行处理，获得初始纠错文本；

将所述初始纠错文本输入至文本纠错模型进行处理，根据处理结果确定所述待纠错文本对应的目标修正文本。

2.根据权利要求1所述的文本处理方法，其特征在于，所述根据预设的文本检错规则对所述待纠错文本进行处理，获得初始纠错文本，包括：

对所述待纠错文本进行分词处理获得多个词单元，并按照结构检错规则对各个词单元进行处理，获得第一初始纠错文本；和/或，

按照语法检错规则对所述待纠错文本进行处理，获得第二初始纠错文本。

3.根据权利要求1所述的文本处理方法，其特征在于，所述将所述初始纠错文本输入至文本纠错模型进行处理，根据处理结果确定所述待纠错文本对应的目标修正文本，包括：

将所述初始纠错文本输入至所述文本纠错模型；

通过所述文本纠错模型中的检测单元对所述初始纠错文本进行处理，获得中间纠错文本；

通过所述文本纠错模型中的纠错单元对所述中间纠错文本进行处理，获得初始修正文本，并输出所述文本纠错模型；

根据所述初始修正文本，将所述初始纠错文本更新为所述目标修正文本。

4.根据权利要求3所述的文本处理方法，其特征在于，所述根据所述初始修正文本，将所述初始纠错文本更新为所述目标修正文本，包括：

对所述初始修正文本进行解析，获得修正标识信息；

按照所述修正标识信息和所述初始修正文本对所述初始纠错文本进行更新，获得所述目标修正文本。

5.根据权利要求1所述的文本处理方法，其特征在于，所述根据处理结果确定所述待纠错文本对应的目标修正文本，包括：

根据处理结果确定所述初始纠错文本对应的纠错字符；

在预设的文本库中选择与所述纠错字符对应的候选字符组成候选字符序列；

基于所述候选字符序列中的各个候选字符对所述初始纠错文本进行更新，并对更新后的各个初始纠错文本进行检测；

根据检测结果在更新后的初始纠错文本中选择目标纠错文本作为所述目标修正文本。

6.根据权利要求1所述的文本处理方法，其特征在于，所述获取待纠错文本步骤执行之后，还包括：

将所述待纠错文本输入至所述文本纠错模型进行处理，获得所述待纠错文本对应的中间修正文本；

在所述中间修正文本与所述目标修正文本不一致的情况下，对所述中间修正文本、所述目标修正文本以及所述初始纠错文本进行文本融合；

根据文本融合结果确定所述待纠错文本对应的目标文本。

7.根据权利要求1所述的文本处理方法，其特征在于，所述根据处理结果确定所述待纠错文本对应的目标修正文本步骤执行之后，还包括：

对所述目标修正文本进行翻译处理，获得对应第一语种的翻译修正文本；

对所述翻译修正文本进行回译处理，获得对应所述目标修正文本语种的回译修正文本；

基于所述回译修正文本对所述目标修正文本进行检测，根据检测结果对所述文本纠错模型进行优化。

8.根据权利要求1-7任意一项所述的文本处理方法，其特征在于，所述文本纠错模型的训练过程如下：

在预设的样本集中提取样本文本；

将所述样本文本输入至初始文本纠错模型进行处理，获得预测修正文本；

根据所述样本文本对应的样本修正文本和所述预测修正文本计算检错损失值以及修正损失值；

基于所述检错损失值和所述修正损失值对所述初始文本纠错模型进行调参，直至获得满足训练停止条件的所述文本纠错模型。