[发明专利]一种基于多场景互动的多模态英语教学系统

权利要求书

1.一种基于多场景互动的多模态英语教学系统，包括服务器和交互终端，其特征在于，包括角色创建模块、场景切换模块、语言转换模块、交互模块和处理器，

所述处理器分别与角色创建模块、场景切换模块、语言转换模块、交互模块控制连接；

所述服务器分别与所述角色创建模块、所述场景切换模块、所述语言转换模块和交互模块连接；

所述角色创建模块用于对互动的角色进行创建，以建立多角色的场景对话；

所述场景切换模块用于对各个角色所选定的场景进行切换，以实现不同对话场景的语义和语境的表达；

所述语言转换模块根据所述场景切换模块所设定的场景，将角色的语言进行识别，并将其转换为与设定场景匹配的语言；

所述交互模块用于与所述交互终端进行配对，以实现对所述交互终端的交互数据进行采集；其中，所述交互终端用于对使用者的动作和语音数据进行采集，并将采集采集到的数据传输至所述交互模块中；

所述语言转换模块包括采集单元和设定单元，所述设定单元用于对角色的语境进行设定；所述采集单元采集使用者发出的声音，并配合分析单元对使用者的语音进行识别；

所述采集单元包括支撑构件、录音构件和采集构件，所述录音构件和所述采集构件设置在所述支撑构件上，其中，所述支撑构件用于固定在使用者的颈部；所述支撑构件包括固定环和支撑杆，所述支撑杆的一端与所述固定环连接，所述支撑杆的另一端朝向远离所述固定环的一侧伸出且所述采集构件设置在其端部；

所述支撑杆的杆体上设置有供所述录音构件放置的存储腔，使所述录音构件隐藏在所述存储腔中；

所述录音构件包括拾音阵列和传输器，所述拾音阵列用于对所述使用者的声音进行采集；所述传输器将拾音阵列的声音数据向所述服务器传输；

所述采集构件设置在所述支撑杆上朝向使用者的嘴巴一侧，并对所述使用者的口型变化进行采集；所述采集构件包括采集探头和存储单元，所述采集探头对所述使用者嘴巴的图像数据进行采集；所述存储单元对所述采集探头采集的数据进行存储；

所述采集单元还包括分析构件，所述分析构件用于对所述录音构件捕获的声音数据进行分析；所述分析构件包括语音云数据库、裁剪器和语音识别工具，所述裁剪器用于对声音数据进行裁剪，并与所述语音云数据库进行比对；所述语音云数据库存储有各种语音对话的场景，并对所述使用者的语音数据进行分析后，匹配该对话场景对话下的回应；

获取一个触发周期中所述使用者的语音数据，并通过所述裁剪器将所述语音数据进行裁剪，形成一个语音片段矩阵Voice，

其中，m为声音片段数，n为采样点，a_ij表示第i个采样点的第j个声音片段；

对声音片段矩阵中的声音片段进行检测，以过滤掉一些无效的声音片段，依次对所述声音片段进行声音能量的检测：

其中，a_ij声音片段的声音能量Q(a_ij)为：

Q(a_ij)＝G²(a_ij)·Δt

式中，G(a_ij)为声音信号在i个采样点的第j个声音片段的采样的幅值；△t为每次采样的时长；

计算每个声音片段的所述声音能量后，计算出时间长度为T的声音片段的声音能量R，计算公式：

式中，N为声音片段的总数，满足：N＝T/△t；T为声音片段的时间长度；根据R的取值，确定语音片段矩阵Voice中的有效成分，并对矩阵进行更新形成有效片段矩阵Voice’。

2.根据权利要求1所述的一种基于多场景互动的多模态英语教学系统，其特征在于，所述设定单元包括偏好收集器和数据库，所述偏好收集器用于收集所述使用者的设定的数据；所述数据库根据所述偏好收集器的数据，调用所述服务器中存储的语言数据，并存储在本地的存储器中；

其中，所述偏好收集器生成一个采集所述使用者个人喜好的情境信息，基于情境信息生成包括用户偏好、兴趣或习惯中的至少一个用户简档，以实现识别用户的表达或行为规则。