[发明专利]基于多任务学习的中文拼写纠错方法

说明书

本发明提供了一种基于多任务学习的中文拼写纠错方法，包括：步骤1，将样例句文本和标签句文本以特定格式输入文本编码模块，文本编码模块输出文本向量；步骤2，将文本向量中句子起始的标识符对应的向量输入正确句判别模块；步骤3，将文本向量中样例句对应的向量输入字级别多分类模块，字级别多分类模块将输出输入候选字生成模块的语义混淆集中。本发明提出了正确句判别任务，通过在训练过程中构建句子对，模型需要识别句子对中不含错误的句子，能够让模型具有基于句子级别分辨正确语句与错误语句的能力，同时和预训练模型的句子对顺序预测任务较好契合，更好的挖掘利用了预训练模型在拼写校对领域的能力，具备更好的识别正确句的能力。

技术领域

本发明涉及中文拼写纠错技术领域，特别涉及一种基于多任务学习的中文拼写纠错方法。

背景技术

随着计算机应用技术的快速发展，越来越多的信息通过网络为媒介进行传播，随着信息数量的快速增长，信息的质量却难以得到保障，低质量的信息会破坏网络环境，同时传播错误知识，文字是网络信息中最多也最重要的承载体，而拼写错误是文字信息中最频繁且最容易出现的一类错误，传统人工对文本进行校对的方式，已经无法处理如今海量的数据，近些年提出的基于深度学习模型架构的拼写校对系统，依赖于预训练模型，且聚焦于字级别的分类任务，主要存在三个问题：依赖于深度学习的拼写校对系统，未充分考量整体句子语境，仅从字级别推断最可能正确的字，而不同句子、不同语义场景下最可能的字不同。

目前对于预训练模型的使用，仅挖掘利用了其中的掩码语言模型部分，忽略了另一个预训练任务：句子顺序预测，没有充分发挥预训练模型在文本校对领域的潜能。

中文拼写纠错方法分为两种，一种是端到端的方法，即直接让模型做约2万分类的多分类任务，其任务难度高，效率低。而另一种非端到端的方法，即模型先完成检错，再完成纠错，然而目前基于非端到端的方法，检错和纠错两个模块缺少交互，无法互相促进。

发明内容

本发明提供了一种基于多任务学习的中文拼写纠错方法，其目的是为了解决了传统的中文拼写纠错方法未充分考量整体句子语境，任务难度高，效率低的问题。

为了达到上述目的，本发明的实施例提供了一种基于多任务学习的中文拼写纠错方法，包括：

步骤1，将样例句文本和标签句文本以特定格式输入文本编码模块，文本编码模块输出文本向量；

步骤2，将文本向量中句子起始的标识符对应的向量输入正确句判别模块；

步骤3，将文本向量中样例句对应的向量输入字级别多分类模块，字级别多分类模块将输出输入候选字生成模块的语义混淆集中；

步骤4，将文本向量中样例句对应的向量输入字级别二分类模块，字级别二分类模块将输出输入候选字生成模块，提供样例句中每个位置字符的正误信息；

步骤5，根据字级别二分类模块的输出，取出样例句中可能存在错误的位置上的字，分别基于字音混淆集和字形混淆集，取出对应的字音候选字和字形候选字，候选字生成模块将所有语义、字音和字形候选字输入语言模型评分模块；

步骤6，语言模型评分模块将所有候选字依次替换到句中，得到对应的候选句，基于所有候选句计算语句困惑度并排序，得到中文拼写纠错结果。

其中，所述步骤1具体包括：