[发明专利]口语问答的评分方法、训练方法、计算机设备及存储介质

权利要求书

1.一种口语问答的评分方法，其特征在于，包括：

获取问题文本；

获取学生作答的作答音频；

将所述作答音频输入预设的语音识别模型，得到所述作答音频对应的语音特征向量以及口语识别文本；

将所述口语识别文本和所述问题文本输入预设的语义提取模型，得到所述作答音频对应的文本特征向量；

将所述作答音频输入预设的声学模型，得到所述作答音频对应的声学特征向量；

基于预设的评分模型，根据所述作答音频对应的语音特征向量、文本特征向量以及声学特征向量，得到所述作答音频对应的预测得分。

2.如权利要求1所述的评分方法，其特征在于，所述将所述作答音频输入预设的语音识别模型，得到所述作答音频对应的语音特征向量以及口语识别文本，包括：

将所述作答音频输入所述语音识别模型的第一特征提取模型，得到所述作答音频的第一语音特征；

将所述第一语音特征输入所述语音识别模型的编码器子模型，得到所述作答音频对应的语音特征向量；

将所述语音特征向量输入所述语音识别模型的解码器子模型，得到所述作答音频对应的口语识别文本。

3.如权利要求2所述的评分方法，其特征在于，所述将所述作答音频输入预设的声学模型，得到所述作答音频对应的声学特征向量，包括：

基于所述声学模型的第二特征提取模型，得到所述作答音频的第二语音特征；

将所述第二语音特征输入所述声学模型的声学信息提取子模型，得到所述作答音频对应的声学特征向量。

4.如权利要求3所述的评分方法，其特征在于，所述第一语音特征为fbank特征，所述第二语音特征为MFCC特征。

5.如权利要求1-4中任一项所述的评分方法，其特征在于，所述将所述口语识别文本和所述问题文本输入预设的语义提取模型，得到所述作答音频对应的文本特征向量，包括：

将预设的起始字符、所述口语识别文本、所述问题文本以及所述口语识别文本和所述问题文本之间的预设的间隔字符，输入所述语义提取模型的嵌入子模型，得到嵌入向量；

将所述嵌入向量输入所述语义提取模型的多头自注意力子模型，得到对应的文本特征向量。

6.一种口语问答评分模型的训练方法，其特征在于，所述口语问答评分模型包括语音识别模型、语义提取模型、声学模型和评分模型；

所述训练方法包括：

获取问题文本；

获取学生作答的作答音频和对应的标注得分；

将所述作答音频输入预训练的语音识别模型，得到所述作答音频对应的语音特征向量以及口语识别文本；

将所述口语识别文本和所述问题文本输入预训练的语义提取模型，得到所述作答音频对应的文本特征向量；

将所述作答音频输入预训练的声学模型，得到所述作答音频对应的声学特征向量；

基于预设的评分模型，根据所述作答音频对应的语音特征向量、文本特征向量以及声学特征向量，得到所述作答音频对应的预测得分；

根据所述作答音频对应的预测得分和所述标注得分，调整所述语音识别模型、语义提取模型、声学模型和评分模型中至少一种模型的模型参数。

7.如权利要求6所述的训练方法，其特征在于，所述训练方法还包括：

获取第一训练样本，所述第一训练样本包括口语识别文本；

基于预设的数据增强规则，对所述口语识别文本进行数据增强，得到数据增强后的第一训练样本；

根据所述第一训练样本对所述语义提取模型进行预训练；

获取第二训练样本，所述第二训练样本包括问题文本和对应的回答文本；

根据所述第二训练样本，对基于所述第一训练样本预训练后的语义提取模型进行预训练，得到所述预训练的语义提取模型。