[发明专利]一种基于图像分析的幼儿智能语音教育的方法

摘要

本发明中提出的一种基于图像分析的幼儿智能语音教育的方法，其主要内容包括：训练数据库和智能教育流程，其过程为，采用幼儿认知教育图片形成素材库，结合知识库形成问题与解决系统。当语音输入问题时，利用长短期记忆模型递归神经网络的语音识别方法进行语音识别。采用VQA模型，包括引导反向传播技术和闭塞模型进行语义分析和图像分析。然后在问题与解决系统中查询知识信息，通过多层感知分类器获得最高概率答案并返回答案，最后语音输出答案并以文字显示。本发明能自动分析语音输入获得用户问题信息，进行自动推理生成问题答案，进行智能语音教育。使用方便，操作快捷，减少了家长和老师的机械性劳动；增加了趣味性，提高幼儿的学习效率。

主权项

1.一种基于图像分析的幼儿智能语音教育的方法，其特征在于，主要包括：(一)训练数据库；(二)语音问题输入；(三)对语义分析与图像分析结果进行处理，具体包括如下步骤：采用VQA模型，视其为一个学习函数a＝f_w(i,q)，输入图像i和图像问题q，由f_w进行参数化，并产生答案a，为了衡量分量i和q的重要性，对应的即图像中的像素点的重要性以及图像问题的关键词的重要性，在每个测试点i_test,q_test周围进行最佳线性近似值，其中，f(i,q)表示近似值的结果，为对矢量做偏导，表示最佳线性匹配，计算关键在于和即函数对图片和问题的每个输入进行偏导数，这些表达式表面上看类似于梯度计算的反向传播神经网络的训练，然而，有两个关键的差异：计算的是预测输出的概率偏导数，不是真实的输出；计算相对于输入的偏导数，即图像和嵌入词汇的像素强度，没有参数；(四)在问题与解决系统中查询知识信息，具体包括如下步骤：采用多层感知分类器预测概率，VQA模型采用基于图像嵌入的卷积神经网络与基于问题嵌入的长短期记忆相结合，并采用了多层感知器作为分类器来预测答案概率分布；返回答案和语音输出答案并以文字显示是通过分类器获得的最高概率答案并返回，结果以语音输出和文字显示。