[发明专利]语音文本匹配云系统

说明书

技术领域

本发明涉及一种处理参考文本每个字或者词对应的语音文本匹配云系统。

背景技术

语音识别技术近年来发展迅速，使计算机处理语音信号逐步走向商业应用。语音文本匹配技术是以语音识别技术为基础, 对语音和其对应的参考文本进行对准。与识别系统不同的是，语音文本匹配中语音的参考文本内容是己知的，语音文本匹配的过程就是获取参考文本每个字或者词对应的发音时间信息。语音文本匹配广泛应用在模型训练、多媒体检索、广播电视媒体、计算机辅助语言教学等方面；还可为现场直播的新闻、演讲、会议等生成字幕；为语言教学、游戏娱乐、电影制作等生成多媒体库；为歌曲制作同步的歌词显示等。

然而，现有的系统和方法在实际应用中面临着两大问题。1）语音文本匹配效率低。现有系统和方法不具备并行处理的能力，对于大规模连续语音及其文本的匹配处理因其时耗太大，而失去商业应用价值。2）缺乏鲁棒性。对于例如讲座等复杂噪音背景或是部分破坏的语音数据，现有的系统和方法不能正确给出匹配文本。

发明内容  

针对现有语音文本匹配系统中存在的上述技术问题，本发明提供一种语音文本匹配云系统。

本发明的技术方案是：

包括web服务模块、语音端点检测模块、语音识别模块和语音文本匹配模块；

所述的Web服务模块为用户提供web界面，用户可以通过该界面提交需要匹配的语音文件与参考文本，得到语音文本的匹配文件；

所述的语音端点检测模块将大的语音流分割成小的音频片段；

所述的语音识别模块可以并行的完成多个语音识别任务，将语音端点检测模块提交的音频文件转换为文字；

所述的语音文本匹配模块将语音识别输出结果同用户提交的文本进行对齐，从而得每个字或者词对应的发音时间信息。

上述语音文本云匹配系统中，所述语音识别模块包括任务管理模块和多个识别节点。所述任务管理模块包括一个任务队列用来区分不同的语音文本匹配任务，每个任务对应维护一个作业队列。该模块将分割后语音文件以作业的形式发送给不同的识别节点，并当不同节点完成识别工作后，将分割音频流识别后的带时间标签的转写文本进行拼接，发送给文本匹配模块。所述识别节点采用分布式架构并行完成语音识别，即每个识别节点具有独立的语音识别功能，对于分发给识别节点的音频片段能够进行语音识别给出转写文本；识别节点在识别过程中采用动态自适应的声学模型和语言模型进行语音识别，从而提高识别准确率。

上述语音文本云匹配系统中，所述语音文本匹配模块包括对齐模块和自适应模块，对齐模块和自适应模块可将语音识别输出结果同用户提交的文本进行对齐，从而得到单词或是字级别的时间对准信息并可依据用户需求确定对准级别。

语音文本匹配模块中的对齐模块完成转写文本与用户提交的参考文本之间匹配工作。通过对齐模块将识别后的转写文本同用户提交的参考文本利用编辑距离进行对齐，基于删除、插入和改写三类错误的个数利用动态规划算法计算编辑距离，并给出一个错误阀值；当某段转写文本与参考文本之间的编辑距离小于阀值就认为该段文本是可信对齐文本区间，该区间的转写文本同用户提交的参考文本是匹配的。

语音文本匹配模块中的自适应模块控制其他模块对同一任务中的语音文件进行迭代分割、识别、匹配和初始化并更新该任务识别节点的语言模型和动态自适应的声学模型。在初始化时，识别节点的声学模型初始化成为系统提供的标准声学模型，而语言模型采用该节点隶属任务的参考文本构建三元语言模型。对同一语音文本匹配任务，自适应模块控制语音端点检测模块对该任务上次迭代的不属于可信文本区间对应的音频流进行重新分割，并对该任务隶属的识别节点的声学模型和语言模型进行更新后，再次对不属于可信文本区间对应的音频进行识别，并控制对齐模块重新计算可信对齐区间；分割，识别，对齐等过程迭代进行，直到匹配本文的三类错误小于给定阀值或是小于一个给定的迭代次数。

语音识别模块中的动态自适应的声学模型和语言模型对语音文本匹配模块中的自适应模块初始化并更新。