[发明专利]一种具有在线语音测评及语音交互功能的语言学习系统

说明书

技术领域

本发明属于信息处理领域，具体涉及一种具有在线语音测评及语音交互功能的语言学习系统。

背景技术

外语学习起来比较不易(比如中国人学习英语，外国人学习汉语)，需要在日常生活、教学中营造充分的语言环境，来辅助学员学习，同样市面上也多了各种语言学习系统来帮助学员学习，例如：点读笔。

点读笔，顾名思义，就是外形卡通的笔式学习工具。主要是采用国际最新光学图像识别技术的高科技产品，点读笔配套书本中加印有二维浅码，点读笔的笔头设有光学感应器，采集所点文字的位置的二维浅码，调取对应的发音信息，通过播放器播放，其原理就是通过带有感光设备的仪器来感应图片上的数字信号，从而触发特定的事件。

但是现有的语言学习系统仅仅具有简单的点读功能，在点读过程中也不能实现对学员点读情况进行反馈，老师或家长不能实时了解每个学员的学习情况。

发明内容

针对现有技术中的缺陷，本发明提供一种具有在线语音测评及语音交互功能的语言学习系统，能够对学员发音进行打分，实现了在线语音测评的功能；同时老师或家长还可以实时跟踪了解每个学员的学习情况。

一种具有在线语音测评及语音交互功能的语言学习系统，包括点读笔、服务器和客户端；点读笔用于获取用户的语音信息，并上传给服务器，还用于播放来自服务器的标准发音信息；服务器设有评分模块和标准发音获取模块，评分模块用于对收到的语音信息进行评分，当得到的分数低于预设的纠正分数时，标准发音获取模块获取对应的标准发音信息，传输给点读笔；服务器还用于生成评分报告，发送给客户端；客户端用于供家长或老师查看评分报告。

优选地，当所述评分模块接收到用户的语音信息，评分模块运行以下步骤：

S1：获取用户的语音信息的声学特征x_t，将声学特征x_t传输给多任务学习的声学字形音素模型；

S2：声学字形音素模型输出三个任务：主任务输出音素q_t的后验概率p₁(q_t|x_t),第二个任务输出字形g_t的后验概率p₂(g_t|x_t)，第三个任务输出对应标准音素的后验概率

S3：通过下式,计算用户的语音信息中，对应的标准音素的分数

其中，0≤α,β≤1；t_{i_start}和t_{i_end}是预设的标准音素对应的起始时间和结束时间；是声学字形音素模型的主任务输出的后验概率。

优选地，所述步骤S1具体为：将用户的语音信息进行快速傅立叶变换，并利用汉明窗函数进行分帧处理，从每一帧的信息中提取一组13维的MFCC特征，分别对每一维度的特征进行归一化处理，得到所述第t帧的声学特征x_t。

优选地，所述评分报告包括分数、排名情况、进步情况、错题库、纠正情况。

优选地，所述点读笔还支持在线更新，点读笔用于连接网络后下载学习资料，或者是接收其对应客户端推送的学习资料。

优选地，还包括登录卡，登录卡的外表面设有多个不同的编码，登录卡内对应每个编码的位置印刷有不同的二维浅码；当点读笔点在登录卡的编码位置处时，点读笔识别登录卡上该编码对应的二维浅码；点读笔将依次读取到的所有二维浅码连成的编码串定义为用户的用户名。

优选地，所述编码为9个，且均匀分布形成三行三列的九宫格形状；所述点读笔中预设有用户名编码数目，当点读笔识别到的二维浅码的个数达到用户名编码数目时，依次读取到的所有二维浅码连成的编码串定义为所述用户的用户名。

优选地，所述点读笔检测到用户的用户名时，发送给服务器，服务器标记该用户开始学习，当服务器检测到来自点读笔的停止学习命令时，标记该用户学习结束。

优选地，所述服务器针对每个学员均设有家长客户端ID，服务器用于根据每个学员的学习情况生成所述评分报告，发送给该学员对应的家长客户端ID的客户端。

优选地，所述语言学习系统还用于实现对讲功能，即点读笔用于获取用户的对讲语音信号并发送给服务器，服务器接收对讲语音信号并发送给客户端；客户端用于获取家长或老师的对讲语音信号并发送给服务器，服务器接收对讲语音信号并发送给点读笔。