[发明专利]智能儿童陪伴教育机器人

说明书

本发明涉及机器人技术领域，公开一种智能儿童陪伴教育机器人，以实现儿童发音过程中的嘴型进行训练和交互。本发明机器人的处理器在执行相应的计算机程序时实现下述步骤：在训练过程中，同步采集音视频数据，并基于音频的切片来同步人脸图像数据流的切片，确保了人脸图像数据流切片的精准度；同时考虑到汉字在发音过程中首尾分别是发和收的过渡阶段，选取最具语言表现力的中间段图像数据流进行嘴型张角的系列计算，并基于前后连续的嘴型张角数据序列与训练文本对应的标准张角数据序列根据相邻汉字之间的嘴型张角变化趋势和相邻句子之间的嘴型张角变化趋势进行对比分析；确保了最终判断结果的有效性和可靠性。

技术领域

本发明涉及机器人技术领域，尤其涉及一种智能儿童陪伴教育机器人。

背景技术

当前，随着人脸识别技术、语音及图像识别技术、视频交互及大数据分析技术的不断成熟，这些技术与家庭机器人主要应用场景可以做到高度耦合，为用户提供良好的使用体验。同时，技术的进步使得机器人的生产成本不断降低，为规模化提供了可能性。

2019年，被视为儿童机器人元年，随后儿童机器人被更多人熟知，并开始井喷式发展。儿童陪伴机器人单价也从几百至几万元人民币不等。儿童教育重在内容和交互方式。传统儿童玩具的语音对话主要功能在讲故事，打着陪伴的口号，实际上没有实际的功能。而智能机器人添加了更多人性化功能，与孩子充分互动，符合孩子的行为习惯，具备语音对话、讲故事、背古诗、唱儿歌、互动等功能，颠覆传统早教，提升孩子表达、逻辑、音乐、艺术等多方面的能力，是孩子的贴心小伙伴和家庭教师。

目前，语音识别与交互技术已非常成熟；但在演说、主持等广泛的儿童兴趣爱好中，发音过程中的嘴型也非常重要，不同的汉字往往对应不同的嘴型；即使同一汉字，由于多音字、不同使用场景中的感情色彩、声调等变化也存在嘴型上的差异，目前的机器人中还缺乏对儿童发音的嘴型进行训练和交互的功能。

发明内容

本发明目的在于公开一种智能儿童陪伴教育机器人，以实现儿童发音过程中的嘴型进行训练和交互。

为达上述目的，本发明公开一种智能儿童陪伴教育机器人，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现下述步骤：

调取训练文本并经显示屏向用户显示所述训练文本，所述训练文本包括至少两个嘴型整体变化幅度不同的句子，且各句子中包括至少两个嘴型不同的汉字；

采集用户同步的音频数据流和包括嘴型的人脸图像数据流；

将所述音频数据流根据所述训练文本的汉字和标点符号分布情况及各汉字所对应的标准音频特征进行切片，获取与单个汉字一一对应的各音频数据切片的时间戳信息；

根据各所述音频数据切片的时间戳信息对所述人脸图像数据流进行切片，建立各图像数据切片与对应汉字之间的映射关系；

对每个图像数据切片，筛选处于中间1/3时间段的图像数据帧，从所筛选出的各图像数据帧中识别并提取出张开的嘴型轮廓信息，根据所述嘴型轮廓信息确定各特征点的坐标位置，所述特征点至少包括嘴型内侧两边嘴角处的A、B点以及上下嘴唇内侧中间处的C、D点；并根据所述A、B点及C、D点坐标位置计算各图像帧的嘴型张角；取同一切片中所计算嘴型张角的平均值为相映射汉字的嘴型张角最终值；

按时间先后顺序，将计算得出的各所述嘴型张角最终值形成对应所述训练文本的嘴型张角数据序列；

将实际的嘴型张角数据序列与所述训练文本对应的标准张角数据序列根据相邻汉字之间的嘴型张角变化趋势和相邻句子之间的嘴型张角变化趋势进行对比分析，判断出嘴型待纠正的单字和句子，并将判断结果经所述显示屏向用户输出并显示；其中，单个句子整体的嘴型张角取所管辖的各汉字相邻张角变化幅度绝对值的平均值或均方根，嘴型张角为在以ACBD为顶点组成的四边形中∠CAD、∠CBD、∠ACB或∠ADB中的任意一个。