[发明专利]文本纠错训练语料的获取方法、装置及电子设备

说明书

本公开公开了文本纠错训练语料的获取方法，涉及数据处理技术领域，尤其涉及大数据、自然语言处理、人工智能等领域。具体实现方案为：获取参考纠错模型及初始训练语料；将待纠错文本输入参考纠错模型，获取多个预测文本及每个预测文本中每个位置的预测字符对应的第一概率；根据该预测文本、第一概率及标注文本，确定待纠错文本中的待改写字符及改写模式；基于改写模式，对待改写字符进行改写，获取目标领域对应的文本纠错训练语料。由此，通过利用参考纠错模型对领域文本进行预测，确定该参考纠错模型，在该领域预测中的薄弱点，针对薄弱点生成训练语料，从而提高了生成的训练语料的质量，为获取特定领域文本纠错模型的可靠性和准确性提供了条件。

技术领域

本公开涉及数据处理技术领域，尤其涉及大数据、自然语言处理、人工智能等领域，具体涉及文本纠错训练语料的获取方法、装置及电子设备。

背景技术

在训练文本纠错模型的过程中，训练语料的质量直接影响到文本纠错模型的可靠性，因此亟需一种可靠的生成文本纠错训练语料的方法，以提高文本纠错模型的可靠性和准确性。

发明内容

本公开提供了一种文本纠错训练语料的获取方法和装置。

根据本公开的一方面，提供了一种文本纠错训练语料的获取方法，包括：

获取参考纠错模型及初始训练语料，其中，参考纠错模型为基于通用领域语料训练生成的，初始训练语料中包括目标领域的待纠错文本及对应的标注文本；

将待纠错文本输入参考纠错模型，以获取多个预测文本及每个预测文本中每个位置的预测字符对应的第一概率；

根据多个预测文本、每个位置的预测字符对应的第一概率及标注文本，确定待纠错文本中的待改写字符及改写模式；

基于改写模式，对待改写字符进行改写，以获取目标领域对应的更新后的文本纠错训练语料。

根据本公开的另一方面，提供了一种文本纠错训练语料的获取装置，包括：

获取模块，用于获取参考纠错模型及初始训练语料，其中，参考纠错模型为基于通用领域语料训练生成的，初始训练语料中包括目标领域的待纠错文本及对应的标注文本；

预测模块，用于将待纠错文本输入参考纠错模型，以获取多个预测文本及每个预测文本中每个位置的预测字符对应的第一概率；

确定模块，用于根据多个预测文本、每个位置的预测字符对应的第一概率及标注文本，确定待纠错文本中的待改写字符及改写模式；

改写模块，用于基于改写模式，对待改写字符进行改写，以获取目标领域对应的更新后的文本纠错训练语料。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述实施例所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述实施例所述方法的步骤。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：