[发明专利]文本纠错方法、装置、计算机设备及存储介质有效
申请号: | 202011468344.7 | 申请日: | 2020-12-14 |
公开(公告)号: | CN112232059B | 公开(公告)日: | 2021-03-26 |
发明(设计)人: | 陈孝良;苏少炜;岳晓宇;常乐 | 申请(专利权)人: | 北京声智科技有限公司 |
主分类号: | G06F40/211 | 分类号: | G06F40/211;G06F40/289;G06F40/295;G06F40/30 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 孔德月 |
地址: | 100094 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 纠错 方法 装置 计算机 设备 存储 介质 | ||
1.一种文本纠错方法,其特征在于,所述方法包括:
获取待纠错语句;
在所述待纠错语句中确定至少一个第一实体,在知识库中确定第二实体集合,所述第二实体集合包括与所述第一实体分别对应的第二实体,所述知识库包括多个实体之间的关系信息;
基于所述第二实体的类型和所述待纠错语句生成候选语句;
通过语言模型在所述候选语句中确定出目标语句,所述语言模型是通过由实体的类型组成的样本语句对神经网络进行训练得到的;
根据所述目标语句,以及所述目标语句对应的所述第二实体,确定所述待纠错语句对应的正确语句。
2.根据权利要求1所述的方法,其特征在于,所述在所述待纠错语句中确定第一实体,在所述知识库中确定第二实体集合,包括:
将所述待纠错语句划分为多个字段;
根据所述字段与所述知识库中的实体之间的相似度,在所述多个字段中确定出所述第一实体,在所述知识库中确定与所述第一实体相对应的第二实体,将与所述第一实体相对应的第二实体添加至所述第二实体集合。
3.根据权利要求2所述的方法,其特征在于,所述根据所述字段与所述知识库中的实体之间的相似度,在所述多个字段中确定出所述第一实体,在所述知识库中确定与所述第一实体相对应的第二实体,包括:
对于每一所述字段,计算所述字段与所述知识库中的实体之间的相似度;
若所述字段与所述知识库中的候选实体之间的相似度大于第一阈值,则将所述字段确定为所述第一实体,将所述知识库中的候选实体确定为所述第二实体。
4.根据权利要求3所述的方法,其特征在于,所述对于每一所述字段,计算所述字段与所述知识库中的实体之间的相似度,包括:
通过所述字段的字音、字形与所述知识库中的实体的字音、字形,计算所述字段和所述知识库中的实体之间的相似度。
5.根据权利要求2所述的方法,其特征在于,所述根据所述字段与所述知识库中的实体之间的相似度,在所述多个字段中确定出所述第一实体,在所述知识库中确定与所述第一实体相对应的第二实体之后,包括:
在所述知识库中确定与多个所述第二实体中的目标实体存在直接关联关系的候选实体;
若所述候选实体,与所述第二实体中除所述目标实体之外的其它实体之间的相似度大于第二阈值,则将所述候选实体添加至所述第二实体集合。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述基于所述第二实体的类型和所述待纠错语句生成候选语句,包括:
通过所述第二实体的类型替换所述待纠错语句中与所述第二实体对应的第一实体,得到所述候选语句。
7.根据权利要求1至5任一项所述的方法,其特征在于,当所述目标语句存在多个时,所述根据所述目标语句,以及所述目标语句对应的所述第二实体,确定所述待纠错语句对应的正确语句,包括:
将所述目标语句中的所述第二实体的类型替换为所述第二实体;
确定实体关联分数最大的所述目标语句;
根据所述实体关联分数最大的所述目标语句,以及所述实体关联分数最大的所述目标语句对应的所述第二实体,确定所述正确语句。
8.根据权利要求1至5任一项所述的方法,其特征在于,所述语言模型的训练过程如下:
获取训练语句,所述训练语句被标注有第一分数,所述训练语句中的实体通过实体类型来替代;
通过所述训练语句对所述神经网络进行训练,输出第二分数;
基于所述第一分数和所述第二分数确定损失函数;
根据所述损失函数调节所述神经网络的参数,得到所述语言模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京声智科技有限公司,未经北京声智科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011468344.7/1.html,转载请声明来源钻瓜专利网。