[发明专利]语法纠错方法及训练方法、装置、电子设备、存储介质在审
申请号: | 202111527229.7 | 申请日: | 2021-12-14 |
公开(公告)号: | CN114239557A | 公开(公告)日: | 2022-03-25 |
发明(设计)人: | 余勇宏 | 申请(专利权)人: | 上海流利说信息技术有限公司 |
主分类号: | G06F40/253 | 分类号: | G06F40/253;G06F40/242;G06F40/289;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 上海知锦知识产权代理事务所(特殊普通合伙) 31327 | 代理人: | 潘彦君 |
地址: | 200090 上海市杨浦区长阳路*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语法 纠错 方法 训练 装置 电子设备 存储 介质 | ||
语法纠错方法及训练方法、装置、电子设备、存储介质,其中,训练方法包括:分别获取包含标注信息的第一训练语料集和第二单语语料集,其中,标注信息用于表征所述第一训练语料集中各训练语料的语法错误对,语法错误对包括错误形式的源片段和与错误形式的源片段对应的正确形式的目标片段;提取所述第一训练语料集中各训练语料的语法错误对,构建语法错误对参考集;基于所述语法错误对参考集,对所述第二单语语料集进行腐化处理,得到与所述第二单语语料集相对应的伪错误语料集;将所述伪错误语料集和所述第一训练语料集输入至预设的神经网络模型,对所述预设的神经网络模型进行训练,得到语法纠错模型。采用上述方案,能够提高语法纠错的准确率。
技术领域
本说明书实施例涉及计算机自然语言处理技术领域,尤其涉及一种语法纠错方法及训练方法、装置、电子设备、存储介质。
背景技术
随着深度学习技术的发展,文本语法纠错技术得到快速发展。目前,常使用语法纠错模型对用户的输入文本(邮件、作文、论文等)进行语法检查,并将其中的语法错误部分进行纠正。
然而,现有的文本语法纠错模型只能在文本句子中一个词发生语法错误时,对其进行纠正,当文本句子中一个语法错误包含多个相邻词时,得到的语法纠错结果的准确率较低,达不到纠错要求。
发明内容
有鉴于此,本说明书实施例提供一种语法纠错方法及训练方法、装置、电子设备、存储介质,能够提高语法纠错的准确率。
首先,本说明书实施例提供一种语法纠错方法,包括:
分别获取包含标注信息的第一训练语料集和第二单语语料集,其中,所述标注信息用于表征所述第一训练语料集中各训练语料的语法错误对,所述语法错误对包括错误形式的源片段和与所述错误形式的源片段对应的正确形式的目标片段;
提取所述第一训练语料集中各训练语料的语法错误对,构建语法错误对参考集;
基于所述语法错误对参考集,对所述第二单语语料集进行腐化处理,得到与所述第二单语语料集相对应的伪错误语料集;
将所述伪错误语料集和所述第一训练语料集输入至预设的神经网络模型,对所述预设的神经网络模型进行训练,得到语法纠错模型。
本说明书实施例还提供一种语法纠错方法,包括:
获取待纠错语料;
将所述待纠错语料输入至语法纠错模型,生成语法纠错结果并输出;
其中,所述语法纠错模型是通过依次将伪错误语料集和第一训练语料集输入至预设的神经网络模型,对所述预设的神经网络模型进行训练得到的;所述伪错误语料集是基于语法错误对参考集,对第二单语语料集进行腐化处理得到的;所述语法错误对参考集是通过对包含标注信息的第一训练语料集提取语法错误对得到的。
相应地,本说明书实施例提供了一种语法纠错训练装置,包括:
训练语料获取模块,适于获取包含标注信息的第一训练语料集和第二单语语料集,其中,所述标注信息用于表征所述第一训练语料集中各训练语料的语法错误对,所述语法错误对包括错误形式的源片段和与所述错误形式的源片段对应的正确形式的目标片段;
语法错误对参考集构建模块,适于提取所述第一训练语料集中各训练语料的语法错误对,构建语法错误对参考集;
处理模块,适于基于所述语法错误对参考集,对所述第二单语语料集进行腐化处理,得到与所述第二单语语料集相对应的伪错误语料集;
训练模块,适于将所述伪错误语料集和所述第一训练语料集输入至预设的神经网络模型,对所述预设的神经网络模型进行训练,得到语法纠错模型。
本说明书实施例还提供了一种语法纠错装置,包括:
语料获取模块,适于获取待纠错语料;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海流利说信息技术有限公司,未经上海流利说信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111527229.7/2.html,转载请声明来源钻瓜专利网。