[发明专利]基于语音和文本分类的学生认知识别方法、装置以及设备

权利要求书

1.一种基于语音和文本分类的学生认知识别方法，其特征在于，包括以下步骤：

获得讨论课堂上各个学生的语音数据集，其中，所述语音数据集包括若干个不同时间时刻的语音数据；

将所述各个学生的语音数据集输入至预设的声纹识别模型，获得所述各个不同时间时刻的语音数据对应的声纹识别数据，根据所述声纹识别数据以及预设的声纹特征库，获得所述各个不同时间时刻的语音数据对应的学生身份标识；

将所述各个学生的语音数据集输入至预设的文本转换模型，获得所述各个不同时间时刻的语音数据对应的课堂文本数据；

将所述各个不同时间时刻的语音数据对应的课堂文本数据输入至预设的认知识别模型，获取所述各个不同时间时刻的语音数据对应的认知等级数据；

根据各个不同时间时刻的语音数据对应的学生身份标识以及所述各个不同时间时刻的语音数据对应的认知等级数据，获得各个学生在讨论课堂上的认知变化情况。

2.根据权利要求1所述的基于语音和文本分类的学生认知识别方法，其特征在于，所述将所述各个学生的语音数据输入至预设的声纹识别模型，获得所述各个语音数据对应的声纹识别数据之前，包括步骤：

对所述各个学生的语音数据进行预处理，获取预处理后的各个学生的语音数据，其中，所述预处理包括分帧、加窗、短时傅里叶变换以及标准差标准化。

3.根据权利要求1所述的基于语音和文本分类的学生认知识别方法，其特征在于，还包括训练所述认知识别模型，包括步骤：

获取若干个样本课堂文本数据，以及所述若干个样本课堂文本数据相应的认知标签数据，其中，所述样本课堂文本数据包括若干个样本词语；

将所述若干个样本课堂文本数据输入至预设的句向量表示计算模型，获取所述若干个样本课堂文本数据的句向量表示，并将所述若干个样本课堂文本数据的句向量表示以及相应的认知标签数据输入至待训练的神经网络模型，获取所述认知识别模型。

4.根据权利要求3所述的基于语音和文本分类的学生认知识别方法，其特征在于：

所述句向量表示计算模型包括词嵌入向量计算模块、融合词向量计算模块以及句向量计算模块；

所述将所述若干个样本课堂文本数据输入至预设的句向量表示计算模型，获取所述若干个样本课堂文本数据的句向量表示，包括步骤：

根据所述若干个样本课堂文本数据以及词嵌入向量计算模块，获取所述词嵌入向量计算模块输出的所述若干个样本课堂文本数据中若干个样本词语的多维词嵌入向量表示；

根据所述若干个样本课堂文本数据中若干个样本词语的多维词嵌入向量表示以及融合词向量计算模块中，获取所述若干个样本课堂文本数据的若干个样本词语的融合词向量表示；

根据所述若干个样本课堂文本数据的若干个样本词语的融合词向量表示以及句向量计算模块，获取所述若干个样本课堂文本数据的句向量表示。