[发明专利]一种个性化外语口语学习系统

摘要

本发明公开了一种个性化外语口语学习系统，包括人机操作模块、视频采集模块、音频采集模块、数据处理模块、发音标准评估模块、口型标准评估模块、发音辅助指导模块、培训方案生成模块、动作命令识别模块、中央处理器、三维互动教学模块、每日任务完成情况汇总评估模块、模拟训练模块、疑难问题汇总模块、人工专家模块、课件共享模块。本发明在学习的过程中，可以通过三维模拟教学模块进行各种动态的人物、场景的建立，学生可以参与到整个模拟过程中与人物进行对话或动作交流，大大提高了学生学习兴趣；模拟训练项目都是随机的，学生无法通过死记硬背的形式进行项目的解答，推动了学生进行项目知识点的真正的理解需求，提高了学习的效率。

主权项

一种个性化外语口语学习系统，其特征在于，包括人机操作模块，用于用户注册、登录，还用于进行各种控制命令以及其它数据的输入，并用于识别输入的语种，进行语种资料系统权限材料的开放；视频采集模块，用于通过视频采集装置进行正在进行教学的教师或交互学习的学生的动作视频的采集，并通过数据传输模块发送到数据处理模块；还用于通过摄像头进行学习者口型以及舌头位置图像的采集，并将所采集到的图像发送到数据处理模块；音频采集模块，用于通过麦克风进行正在教学的教师或交互学习的学生的音频的采集，并通过数据传输模块发送到数据处理模块；数据处理模块，用于通过kinect深度传感器进行骨骼信息获取，还用于消除所获得骨骼信息的抖动和噪声干扰，并计算获取所有骨骼对的角度旋转移动SO3矩阵信息；并将所获取的SO3矩阵信息发送到动作识别模块；还用于对音频采集模块所发送的音频数据进行消噪处理，并识别所接收到的音频数据内的音频控制命令，将识别结果发送到中央处理器；发音标准评估模块，用于根据数据处理模块发送的人体深度信息与标准数据库内的人体深度信息进行对比，进行发音情况的评估，如果差距小于某个门限，则认为发音标准，否则认为不标准；口型标准评估模块，用于将计算所得的骨骼对的角度旋转移动SO3矩阵信息与口型标准数据库内录制的标准口型姿态信息进行对比，如果差距小于某个门限，则认为口型标准，否则认为不标准；发音辅助指导模块，用于根据发音标准评估模块、口型标准评估模块的评估结果输出正确的口型以及舌头位置数据到显示屏进行显示；培训方案生成模块，用于通过人工专家根据综合评估模块的评估结果进行培训方案的输出，并将输出的培训方案发送到对应的账户；动作命令识别模块，用于将所获取的的SO3矩阵信息与动作控制命令数据库内的SO3矩阵信息进行比较，并将相似度最高的控制命令输出至中央处理器；中央处理器，用于接收人机操作模块、数据处理模块以及动作命令识别模块输入的控制命令，并按照预设的算法将这些控制命令发送到指定的模块；用于根据人机操作模块输入的数据调用命令在数据库内调用相应的数据发送到显示屏或指定的移动终端进行显示；还用于用户注册、权限管理以及密码修改；三维互动教学模块，包括空气屏幕生成系统、若干组3D投影仪、音频播放模块和素材数据库，用于根据中央处理器发送的控制命令从素材数据库内调用相应的数据建立各种场景、动态三维模型、互动三维模型；每日任务完成情况汇总评估模块，用于汇总并储存学生在学习过程每日任务的完成情况，并根据预设的算法对接收到的数据进行评估，将评估结果发送到人工专家解答模块；模拟训练模块，用于根据预设的模拟难度在模拟训练模型数据库随机选取一定数量的试题进行模拟训练，并完成模拟训练结果的评估，将评估的结果发送到中央处理器，发送到显示屏进行显示；疑难问题汇总模块，用于汇总并储存学生在学习过程中遇到的疑难问题，并将这些数据按其发送的学生账户标记后发送到人工专家解答模块；人工专家模块，用于进行疑难问题汇总模块内的疑难问题的解答，并将解答后的数据发送到指定的账号，还用于根据学生的疑难问题、兴趣闯关模块以及每日任务完成的情况进行每日任务的发送；课件共享模块，用于教师将上课的课件上传，从而实现学生、教师的课件的共享。