[发明专利]一种讲授场景中的说话人语音识别系统

说明书

本发明公开了一种讲授场景中的说话人语音识别系统，包括摄像头、麦克风、视频音频输入模块、信号增强模块、云端服务器模块和输出模块；本发明运用机器学习深度学习的方法对说话人的语音音频数据进行处理，划分不同说话人的音频区间，进一步可分析说话人此时的情绪，通过实时监控，实时数据处理，可作为教学评估的一个指标，该指标是衡量教学质量的一个重要环节，打破了传统的抽样调查，访谈，考试测评等条件的限制，可以客观真实的反应课上情况。

技术领域

本发明属于人工智能技术领域，具体涉及一种讲授场景中的说话人语音识别系统。

背景技术

现有的评价体系无非以卷面成绩，考试测评，抽样调查，学生家长访谈来评价教学质量，这是很受限的不能真实的刻画上课质量。针对该技术问题，本发明通过人工智能算法对说话人进行语音识别，准确分割出说话人的语音音频活动区间进行识别，通过分割出的音频区间进一步可以分析出说话人当时的说话情绪，来达到真实客观评价课堂教学质量。

发明内容

本发明的目的在于克服以上存在的技术问题，提供一种讲授场景中的说话人语音识别系统。

为实现上述目的，本发明采用如下的技术方案：

一种讲授场景中的说话人语音识别系统，包括摄像头、麦克风、视频音频输入模块、信号增强模块、云端服务器模块和输出模块；所述云端服务器模块包括GPU服务器机群、人工智能算法模块和大数据处理模块；所述摄像头捕捉到的视频流和麦克风捕捉到的声音信号通过视频音频输入模块输送到信号增强模块，信号增强模块再输入到GPU服务器机群，GPU服务器机群通过大数据处理模块对数据先进行清洗，再由人工智能算法模块对数据进行处理，并将处理的结果传输给输出模块。

进一步地，所述人工智能算法模块包括深度学习算法和/或机器学习算法。

进一步地，所述深度学习算法包括LSTM算法、RNN算法、GRU算法和CNNs算法，通过深度学习算法对视频、音频数据进行分类处理操作。

进一步地，所述机器学习算法包括SVM算法、HMM-GMM算法和KNN算法，通过所述机器学习算法对视频、音频数据进行分类处理操作。

本发明运用机器学习深度学习的方法对说话人的语音音频数据进行处理，划分不同说话人的音频区间，进一步可分析说话人此时的情绪，通过实时监控，实时数据处理，可作为教学评估的一个指标，该指标是衡量教学质量的一个重要环节，打破了传统的抽样调查，访谈，考试测评等条件的限制，可以客观真实的反应课上情况。

附图说明

图1：本发明云端服务器模块的架构图。

图2：本发明工作总体流程图。

图3：音频标签示例图。

具体实施方式

下面结合附图及实施例对本发明进行详细说明。

如图1-2所示，摄像头捕捉的视频流和麦克风录制的双通道音频流一起传输到视频音频输入模块，其中录制的音频频率规定为16KHZ。视频音频输入模块将视频流，音频信号传送到信号增强模块，通过信号增强模块，对音频中的主要声音信号进行放大，因为在传输过程中，由于外界因素，介质会使声音信号衰减。另一个目的就是可以降低噪音对人声的干扰，为下一步上传云端服务器做准备。云端服务器内的GPU机群可以提供强大的计算能力，通过大数据处理模块对数据先进行清洗，将无效信息过滤掉，然后把数据输入到人工智能算法模块中训练，可以将一部分过去上课时录制的音频，做好标注，送到网络中进行训练，训练过程中需要设置窗口值和频率，这里的频率用的秒(s)，进而测试算法，调好算法后，将现有的音频数据拿去测试返回结果，返回的结果既可以用来评估教学质量，又可以用来检查算法的优劣性。