[发明专利]文本的处理方法、装置、电子设备及可读存储介质

说明书

本申请公开了一种文本的处理方法、装置、电子设备及可读存储介质，属于人工智能技术领域。包括：对待处理的第一文本进行错误检测；若经错误检测确定所述第一文本存在错误且所述错误属于第一错误类型，则从多个纠错模型中，确定与所述第一错误类型对应的第一纠错模型，所述多个纠错模型中的不同纠错模型能够对不同错误类型的错误文本进行纠错；通过所述第一纠错模型对所述第一文本进行纠错处理，输出候选文本；根据所述候选文本，确定目标文本。本申请通过确定第一文本中的错误的错误类型，并针对该错误类型，采用对应的纠错模型进行纠错，使得纠错具有一定的针对性，从而可以提高纠错的有效性，进而提高纠错效果。

技术领域

本申请涉及人工智能技术领域，特别涉及一种文本的处理方法、装置、电子设备及可读存储介质。

背景技术

在人工智能领域，通常需要对文本进行语义解析、文字识别等处理。在一些场景中，由于文本是人工手动输入的，所以可能存在错误，如果基于这样的文本进行语义解析，容易导致出现解析错误或者无法解析的问题。

为此，在对文本进行语义解析之前，可以对文本进行纠错处理。在相关技术中，一般使用两步法进行纠错处理。首先，通过序列学习的方式检测错误文本的位置，然后通过掩码模型对错误文本进行掩码处理，并产生候选字，如此就可以基于候选字重新确定文本。

然而，上述提供的纠错处理方法中，掩码模型的纠错能力有限，所以容易导致纠错效果较差。

发明内容

本申请实施例提供了一种文本的处理方法、装置、电子设备及可读存储介质，可以解决相关技术中由于掩码模型的纠错能力有限导致纠错效果较差的问题。所述技术方案如下：

第一方面，提供了一种文本的处理方法，所述方法包括：

对待处理的第一文本进行错误检测；

若经错误检测确定所述第一文本存在错误且所述错误属于第一错误类型，则从多个纠错模型中，确定与所述第一错误类型对应的第一纠错模型，所述多个纠错模型中的不同纠错模型能够对不同错误类型的错误文本进行纠错；

通过所述第一纠错模型对所述第一文本进行纠错处理，输出候选文本；

根据所述候选文本，确定目标文本。

作为本申请的一个示例，所述根据所述候选文本，确定目标文本，包括：

分别确定所述第一文本的困惑度和所述候选文本的困惑度；

从所述第一文本和所述候选文本中，选择困惑度最小的文本；

将从所述第一文本和所述候选文本中选择的文本，确定为所述目标文本。

作为本申请的一个示例，所述通过所述第一纠错模型对所述第一文本进行纠错处理，输出候选文本之后，还包括：

继续对当前得到的候选文本进行错误检测；

若得到的候选文本中存在错误，则从所述多个纠错模型中，确定与得到的候选文本的第二错误类型对应的第二纠错模型，所述第二错误类型是通过错误检测确定；

通过所述第二纠错模型对得到的候选文本进行纠错处理，再次得到候选文本，并返回至所述继续对当前得到的候选文本进行错误检测的操作，直到得到的候选文本中不存在错误时，结束操作。

作为本申请的一个示例，所述第一错误类型包括替换错误类型、缺字错误类型、缺词错误类型、倒置错误类型中的任意一种，其中，所述替换错误类型是指文本内容被同音词、同音字、形近字、近音字中的任一种替换，所述倒置错误类型是指文本内容的位置发生颠倒。

作为本申请的一个示例，若所述第一错误类型为所述替换错误类型，则所述第一纠错模型为替换纠错模型；

所述替换纠错模型的训练方式包括：