[发明专利]端到端语音识别模型处理方法、语音识别方法及相关装置在审
申请号: | 202111574334.6 | 申请日: | 2021-12-21 |
公开(公告)号: | CN114299930A | 公开(公告)日: | 2022-04-08 |
发明(设计)人: | 吴振宗;刘柏基;陈宇;徐易楠;康世胤;许佳 | 申请(专利权)人: | 广州虎牙科技有限公司 |
主分类号: | G10L15/06 | 分类号: | G10L15/06;G10L15/16;G10L15/26 |
代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 张欣欣 |
地址: | 511495 广东省广州市番禺*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 端到端 语音 识别 模型 处理 方法 相关 装置 | ||
1.一种端到端语音识别模型处理方法,其特征在于,包括:
获取预设词表和文本语料集;其中,所述预设词表用于维护任意一种直播领域中的热词、所述热词对应的发音路径和建模单元;
根据所述文本语料集,训练初始的语言模型的模型参数,得到所述直播领域对应的目标语言模型;
根据所述热词的发音路径和建模单元,更新所述目标语言模型,并确定更新后的目标语言模型中所述热词的权重;
根据更新后的所述目标语言模型,生成端到端语音识别模型。
2.根据权利要求1所述的端到端语音识别模型的处理方法,其特征在于,确定更新后的目标语言模型中所述热词的权重,包括:
根据所述预设词表,生成测试集;所述测试集中包括多个测试文本;
基于所述目标语言模型和预设的声学模型,对所述多个测试文本进行多轮解码,确定每轮解码后的解码错误率和所述预设词表中热词的得分和所述得分对应的权重;
若存在连续预设轮,每轮解码后的所述解码错误率均小于预设阈值,则从所述热词对应的得分中确定出最高得分,并将所述最高得分对应的权重,确定为所述热词的权重。
3.根据权利要求2所述的端到端语音识别模型处理方法,其特征在于,确定每轮解码后所述预设词表中每个热词的得分和所述得分对应的权重,包括:
在每轮解码后,确定每个热词是否对应有所述测试文本;
若是,则根据所述每个热词对应的召回率、精确率和分类标签,确定所述得分,在所述得分高于上一轮得分的情况下,将上一轮得分对应的权重按预设规则增加,得到所述得分对应的权重,或者,
在所述得分低于上一轮得分的情况下,将所述上一轮得分对应的权重按预设规则减少,得到所述得分对应的权重;其中,所述分类标签用于表征所述热词的重要程度;
若否,则在所述每个热词的识别错误次数大于预设次数的情况下,将上一个权重按所述预设规则减小,得到的所述权重作为所述得分,或者,在小于或等于所述预设次数的情况下,将上一个权重按所述预设规则增加,得到的所述权重作为所述得分。
4.根据权利要求2或3所述的端到端语音识别模型处理方法,其特征在于,在确定每轮解码后所述测试集的解码错误率和所述预设词表中每个热词的得分和所述得分对应的权重之后,所述方法还包括:
基于每轮解码后确定的热词对应的权重,更新所述目标语言模型;更新后的所述目标语言模型用于执行下一轮解码。
5.根据权利要求1所述的端到端语音识别模型处理方法,其特征在于,确定更新后的目标语言模型中所述热词的权重,包括:
响应于用户的权重配置信息,确定所述预设词表中热词的权重信息。
6.根据权利要求1所述的端到端语音识别模型处理方法,其特征在于,根据所述文本语料集,训练初始的语言模型的模型参数,得到所述直播领域对应的目标语言模型,包括:
从所述文本语料中确定出第一类文本语料集、第二类文本语料集和第三类文本语料集;
其中,所述第一类文本语料集和所述第二类文本语料集中的文本语料具有主播标签;所述第一类文本语料集中的文本语料为通用文本;所述第二类文本语料集和所述第三类文本语料集中的文本语料为所述任意一种直播领域中的文本语料;
分别利用所述第一类文本语料集、第二类文本语料集和第三类文本语料集对初始的语言模型进行训练,得到第一语言模型、第二语言模型和第三语言模型;
将所述第一语言模型、所述第二语言模型和所述第三语言模型按预设比例插值进行融合,得到所述目标语言模型。
7.根据权利要求1所述的端到端语音识别模型处理方法,其特征在于,在获取预设词表和文本语料集之后,所述方法还包括:
对所述文本语料集进行数据预处理,其中,所述预处理包括过滤标点符号、过滤特殊字符、英文字符中的至少一种;
对所述文本语料集中的多个文本语料各自进行分词处理,并将分词处理后得到的不存在于所述预设的发音词典中的词剔除;
根据所述预设词表,对所述文本语料集中进行正则处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州虎牙科技有限公司,未经广州虎牙科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111574334.6/1.html,转载请声明来源钻瓜专利网。