[发明专利]适用于多音字的音素预测方法、装置、设备及存储介质有效
申请号: | 202110342957.4 | 申请日: | 2021-03-30 |
公开(公告)号: | CN112800748B | 公开(公告)日: | 2023-05-12 |
发明(设计)人: | 苏雪琦;王健宗;程宁 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F40/211 | 分类号: | G06F40/211;G06F40/284;G06F40/30;G06N3/08 |
代理公司: | 深圳市明日今典知识产权代理事务所(普通合伙) 44343 | 代理人: | 王杰辉 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 适用于 多音字 音素 预测 方法 装置 设备 存储 介质 | ||
1.一种适用于多音字的音素预测方法,其特征在于,所述方法包括:
获取待预测的文本数据;
对所述待预测的文本数据进行句子结构分析、文本正则化处理、分词处理和词性预测,得到预处理后的文本数据;所述文本正则化处理包括将所述文本数据中不是中文的标点或数字转换为汉字表达;
将所述预处理后的文本数据输入音素预测模型进行音素预测,其中,所述音素预测模型是基于Bert模型、含有多音字的多个训练样本和MLM模型训练方法进行训练得到的模型,所述MLM模型训练方法包括:多音字掩码的训练方法、多音字随机拼音替代的训练方法、不掩码和不遮蔽的训练方法;其中,所述多个训练样本中的每个训练样本包括:文本样本数据和音素标定数据,所述文本样本数据中包括至少一个多音字;音素标定数据携带有多音字标记;
获取所述音素预测模型输出的目标音素预测结果;
所述将所述预处理后的文本数据输入音素预测模型进行音素预测的步骤之前,还包括:
获取所述多个训练样本,其中,所述多个训练样本中的每个训练样本包括:文本样本数据和音素标定数据,所述文本样本数据中包括至少一个多音字;
采用预设的划分规则,对所述多个训练样本进行划分,得到第一训练样本集合、第二训练样本集合和第三训练样本集合;
采用所述第一训练样本集合,对初始模型进行多音字掩码训练,训练结束得到多音字掩码训练后的初始模型,其中,所述初始模型是基于所述Bert模型得到的模型;
采用所述第二训练样本集合,对所述多音字掩码训练后的初始模型进行多音字随机拼音替代训练,训练结束得到多音字随机拼音替代训练后的初始模型;
采用所述第三训练样本集合,对所述多音字随机拼音替代训练后的初始模型进行训练,训练结束得到所述音素预测模型。
2.根据权利要求1所述的适用于多音字的音素预测方法,其特征在于,所述获取所述多个训练样本的步骤,包括:
获取多个待处理的文本数据,所述多个待处理的文本数据中每个待处理的文本数据包括至少一个多音字;
分别对所述多个待处理的文本数据中的每个待处理的文本数据进行句子结构分析、文本正则化处理、分词处理和词性预测,得到所述多个待处理的文本数据各自对应的所述文本样本数据;
分别对所述多个待处理的文本数据对应的每个所述文本样本数据进行拼音标定,得到所述多个待处理的文本数据各自对应的所述文本样本数据对应的所述音素标定数据,其中,所述音素标定数据中携带有多音字标记。
3.根据权利要求1所述的适用于多音字的音素预测方法,其特征在于,所述采用预设的划分规则,对所述多个训练样本进行划分,得到第一训练样本集合、第二训练样本集合和第三训练样本集合的步骤,包括:
采用8:1:1的划分规则,对所述多个训练样本进行划分,得到所述第一训练样本集合、所述第二训练样本集合、所述第三训练样本集合。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110342957.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种利用层级结构的新站点流量预测方法
- 下一篇:多功能的婴儿车