[发明专利]一种便携式实时反馈语言学习系统

权利要求书

1.一种便携式实时反馈语言学习系统，其特征在于：包括显示模块、控制模块、语音库模块和语言传输模块；

所述显示模块：用于实现用户与本系统信息交互，通过USB接口或蓝牙连接方式与显示设备连接，配合相应软件即可实现人机信息交互，其中交互信息包括学习语言选择、目标学习语句、学习阶段选择，语言分析报告；

所述控制模块：通过USB接口与上位机进行控制文件传输，执行显示模块输入的需求，将语言传输模块输入的数字量信号通过滑窗离散傅里叶变换方法将音强音色音高输出波形并利用残差理论与语料库标准波形进行对比后输出至显示模块；

所述语言传输模块：由收声装置、扬声器装置及语音识别模块组成，与系统控制模块传输信号声音-数字信号的传输功能，同时配有接口，可外接麦克风及播放器，语音转换模块将采集到的语音信号进行A/D转换为数字信号送至控制器模块中，并将控制器输出语音通过语音播放目标语句的正确发音；

所述语音库模块：通过usb模块与上位机连接进行下载，包括多国语言库标准语言的音高音强音色等标准发音以及对应不同学习阶段，以及语言的发音技巧及举例解析。

2.根据权利要求1所述的一种便携式实时反馈语言学习系统，其特征在于：系统执行包括如下步骤：

步骤1：用户选择学习语言、目标学习阶段以及相关语句；

步骤2：在语音信息库中进行匹配目标语句，并通过控制模块语音识别模块输出至语音播报模块，进行示范教学；

步骤3：采集用户发音内容，将用户发音内容通过语言传输模块以数字量形式输入至控制模块；

步骤4：在控制模块中利用滑窗离散傅里叶变换方法将其语音学习发音内容按照音高、音色、音强进行谐波提取分析；

步骤5：将提取到的用户音高、音色、音强与语言库对应标准发音进行对比，基与残差理论分别将音长、音高、音强的残差显示；

步骤6：基于S5部分残差生成报告，各部分发音指标与当前学习阶段设置残差阈值进行对比，将残差超出设置阈值部分定义为发音不规范部分在显示模块中显示；

步骤7：将发音不规范部分在标准语音库中标准音频、发音方法以及示例教学在显示模块及语音播报模块传递给用户。

3.根据权利要求1所述的一种便携式实时反馈语言学习系统，其特征在于：将采集到的语音信号经过语音识别处理后，转换为数字信号传输至控制器，采用滑窗离散傅里叶变换方法，进行谐波提取分析，在显示模块中实时显示语音信号波形，即对应的音强，音长，音高。

4.根据权利要求3所述的一种便携式实时反馈语言学习系统，其特征在于：利用滑窗离散傅里叶变换算法对频率波动的敏感性，将采集到的语音信号进行离散化处理分为n个信号片段，然后通过加滑窗处理，取出信号片段进行傅里叶变换，以观察该片段内信号的频率分量，实现对谐波信号的幅值和相位信息重建。

5.根据权利要求2所述的一种便携式实时反馈语言学习系统，其特征在于：谐波对比部分，基于残差理论对用户发音的每个单词的音高音色音强与标准语音库进行对比，所述残差序列表达式：

式中，为用户的实际输出；y为标准语音库的输出

残差序列均方和：

其中N为样本的数量

根据残差值的大小是否超出目标学习设定阈值判别发音是否需要继续学习阈值检测的判别式为：

其中ε₀为检测阈值，是判别系统是否发生故障的决定性因素，残差值超过阈值，则需要继续学习。

6.根据权利要求5所述的一种便携式实时反馈语言学习系统，其特征在于：其检测阈值针对用户输入的不同学习阶段，设置不同的容错阈值，对应其残差对比阈值范围有所不同。