[发明专利]一种自适应的主动式信息交互教育方法

说明书

本发明涉及一种自适应的主动式信息交互教育方法，根据学习者的环境和注意力的情况，自适应地转变播放方式，如将视频通过内容识别和自动语音生成转变成音频，或者对音频自动生成字幕和配图生成视频。具体的，该装置可以根据声音信号、振动信号、加速度传感器、感光传感器，进行环境干扰特征的识别，判别环境嘈杂程度、声音场景、环境光线条件、设备晃动状态；同时，该装置可以辨识学习者的注意力状态，自动推送合适的内容形式，以最大化注意力集中程度。并且，该装置可以通过对视频和图像内容识别，自动生成描述视频和图像内容的文字，进一步合成音频播放；该装置也可以对音频内容识别，自动生成文字、配图，进行视觉呈现。

技术领域

本发明属于智能教育领域，具体涉及一种自适应的主动式信息交互教育方法。

背景技术

自适应的教育方法可以有效拓展学习者获取知识的场景、提升学习者的注意力水平，从而提升学习效率。

随着智能工具的小型化和网络带宽的提速，普通学习者使用智能工具的场景大幅度拓宽了。对各种环境自适应的学习教育装置可以更有效地辅助学习者对信息的获取、加工、认知内化，辅助和提升认知的效率。

教育信息的传输应该尽量贴合学习者身处的环境和投入的注意力，从信息接收的增强角度，通过多模态、多通道的音频、视频、图像、文字，有效呈现学习内容。

学习者可能在受干扰的环境中学习，如在地铁车厢中、或在运动健身过程中等，导致信息接收遇到障碍，或因为客观环境、或因为短时的注意力下降，造成学习的低效。通过主动和自适应地调整信息交互方式，能够提高认知效率。目前已有一些方案：例如视频内容的导航和搜索、对前后置关联知识点内容的推送；以及音频内容的可视化、视频\VR内容的语音解说。即从认知效率角度，对内容的呈现形式进行组合优化，能够提高学习效率。

然而，目前的学习资源、课程内容，尚缺乏对信息增强的综合性研究和整体性技术解决方案，导致学习过程中的信息获取不畅通、容易受到干扰影响。比如，在学习内容形式方面，已有的技术能够通过基于行为数据的深度学习推荐算法适应性地优化知识点的学习顺序和视觉呈现以强化学习者的认知效率，但未能把学习内容的多感官呈现形式、学习环境干扰因素和学习者注意力状态等影响认知效率的因素进行综合考虑；在学习者注意力状态方面，已有的技术提出了基于机器学习的人脸姿态估计方法和融合视线估计的注意力评估方法，以提高学习者注意力评估的精度，进而通过学习内容中额外预设的多感官交互体验以加强学习者的注意力，但未能把学习环境干扰因素考虑周全，也未能实现学习内容原有信息的主动和自动增强。综上，现有技术中没有将内容呈现形式、学习环境、特定人注意力集中程度进行整体考虑的技术解决方案，也没有对学习内容原有信息进行自适应和主动式智能化增强的技术研究[1,2,3]。

因此本发明涉及的一种自适应的主动式信息交互教育方法具有重要的理论与实际意义。

发明内容

为解决上述问题，本发明公开了一种自适应的主动式信息交互教育方法，根据环境嘈杂程度、声音场景特点，自适应地切换音频到视频呈现；根据环境光线条件、设备晃动状态，自适应地切换视频到音频呈现。

为达到上述目的，本发明的技术方案如下：

一种自适应的主动式信息交互教育方法，包括如下步骤：

步骤一：构建学习环境数据库，并对每种学习环境进行场景类别的划分，并构建训练数据集；将训练数据集输入到基于机器学习的学习环境识别模型，以类别信息作为所述学习环境识别模型的监督信息，进行学习环境识别模型的训练；

构建学习内容数据库，并对每个学习内容的图片和声音信号建立关联关系，构建学习内容识别模型；将学习内容输入到学习内容识别模型，以图片作为学习内容识别模型的监督信息，进行学习内容识别模型的训练；

构建视频数据库，并对视频内容进行文字描述；输入视频到基于机器学习的视频识别模型，以文字描述作为所述视频识别模型的监督信息，进行视频识别模型的训练；