[发明专利]一种多阶段语音与文本容错对齐的方法及装置

权利要求书

1.一种多阶段语音与文本容错对齐的方法，其特征在于，包括：

第一阶段：将语音转换成文字，形成识别文本；

第二阶段：在原始文本与所述识别文本中，通过寻找最长递增子序列搜索锚点；

第三阶段：根据所述锚点在句子中的位置关系，在识别文本中划分出初步对齐段和未对齐段；

第四阶段：对所述未对齐段重复执行所述第二阶段和第三阶段，直到未对齐段不再发生变化或者没有新的锚点出现为止；

第五阶段：针对所述未对齐段，采用相似度计算函数在识别文本中寻找与原始文本中最相似的字词作为句子边界，对未对齐段进行初步对准；

第六阶段：对初步对齐的句子进行精确对准和错误对准的判断。

2.根据权利要求1所述的多阶段语音与文本容错对齐的方法，其特征在于，所述第二阶段包括：

将所述原始文本和识别文本中的文字转换成拼音；

对原始文本和识别文本中的拼音进行相似度匹配，找出识别文本与原始文本中匹配完全一致的字词；

根据所述匹配完全一致的字词在原始文本中的位置，采用寻找最长递增子序列的方法获取锚点集合。

3.根据权利要求2所述的多阶段语音与文本容错对齐的方法，其特征在于，所述第二阶段还包括：

在所述原始文本中，将标点符号采用设定的句子分隔符替换，以拼接为一个长字符串，然后执行将所述原始文本和识别文本中的文字转换成拼音的过程。

4.根据权利要求1至3中任一项所述的多阶段语音与文本容错对齐的方法，其特征在于，在所述第三阶段，根据所述锚点在句子中的位置关系，采用以下对准规则划分初步对齐段和未对齐段：

对准规则1：一个句子中锚点之间的部分划分为初步对齐段；

对准规则2：跨句子的锚点之间的部分划分为未对齐段。

5.根据权利要求1所述的多阶段语音与文本容错对齐的方法，其特征在于，所述第五阶段包括：

假设原始文本中未对齐段为S′，其在识别文本中所对应的子序列为A′_n；

采用相似度计算函数sim(S′,A′_n)在A′_n中遍历，寻找一个使得在未对齐段内相似度最大的字词作为句子边界；

将所述字词的开始时间和/或结束时间作为边界的时间戳，对未对齐段进行初步对准。

6.根据权利要求1所述的多阶段语音与文本容错对齐的方法，其特征在于，所述第六阶段包括：

将原始文件和识别文件中初步对齐的句子的拼音分别用向量u、v表示，计算向量u、v的余弦相似度：

设定相似度阈值α；

若sim(u,v)≥α，则判定句子为对准状态；否则，判定句子为未对准状态，并给出错误提示。

7.一种多阶段语音与文本容错对齐的装置，其特征在于，包括：

自动语音识别模块，其用于将语音转换成文字，形成识别文本；

寻找最长递增子序列模块，其用于在原始文本与识别文本中搜索锚点；

对齐段与未对齐段划分模块，其用于根据所述锚点在句子中的位置关系，在识别文本中划分出初步对齐段和未对齐段；

循环控制模块，其用于控制所述寻找最长递增子序列模块和所述对齐段与未对齐段划分模块对未对齐段进行重复处理，直到未对齐段不再发生变化或者没有新的锚点出现为止；

相似度计算模块，其用于针对所述未对齐段，采用相似度计算函数在识别文本中寻找与原始文本中最相似的字词；所述对齐段与未对齐段划分模块将所述最相似的字词作为句子边界，对未对齐段进行初步对准；

精确对准识别模块，其用于对初步对齐的句子进行精确对准和错误对准的判断。