[发明专利]一种基于家教设备的辅助学习方法及家教设备

说明书

本发明提供了一种基于家教设备的辅助学习方法及家教设备，包括：当进入点读模式，且检测到用户对书本进行点读操作时，获取用户的点读图片，所述点读图片包括点读页面的页码定位信息；根据所述页码定位信息，确定所述点读页面的目标页码；根据所述点读图片中的用户手指坐标信息与所述目标页码的勾勒框坐标信息，确定目标勾勒框，并播放与所述目标勾勒框对应的点读语音文件。本发明改善了家教设备的点读功能和听写功能，使用户体验更好。

技术领域

本发明涉及智能教育领域，尤指一种基于家教设备的辅助学习方法及家教设备。

背景技术

随着社会的不断发展，人们逐渐认识到教育对于人类发展以及家庭的重要性，各种电子学习产品，比如家教机等，在家庭中已得到广泛应用。

现有技术中提供点读功能的家教机，按如下步骤实现点读功能：

1、开启前置摄像头，进入点读模式；

2、当用户在预设区域的书本上进行点读时，为了识别用户手指所指内容，先进行拍照，获取图片信息；

3、采用图像搜索技术在与该书本对应的图片库(存储了书本每个页码的图片)中搜索与该图片信息匹配的图片；

4、当找到完全相同或大概率相同的图片时，根据该图片确定对应的书本页码；

5、将用户手指坐标信息与该页码中的勾勒框坐标信息进行比对，确定点读的勾勒框，再通过语音方式教学对应的勾勒框的内容。

但是，在第三步进行图片匹配时，由于各种干扰因素的影响，比如，书页被严重涂改，会导致图片匹配的时间较长，识别图片所属页码的速度较慢，从而延长了点读的响应时间，影响了用户体验。

发明内容

本发明的目的是提供一种基于家教设备的辅助学习方法及家教设备，用于解决点读操作中页码识别慢的问题。

本发明提供的技术方案如下：

一种基于家教设备的辅助学习方法，包括：当进入点读模式，且检测到用户对书本进行点读操作时，获取用户的点读图片，所述点读图片包括点读页面的页码定位信息；根据所述页码定位信息，确定所述点读页面的目标页码；根据所述点读图片中的用户手指坐标信息与所述目标页码的勾勒框坐标信息，确定目标勾勒框，并播放与所述目标勾勒框对应的点读语音文件。

进一步地，所述的根据所述页码定位信息，确定所述点读页面的目标页码，包括：所述页码定位信息为勾勒框信息；根据所述点读图片的勾勒框信息与所述书本的点读信息，确定所述点读页面的页码范围；所述点读信息包括所述书本中每个存在勾勒框的页面所对应的页码和勾勒框数的配对信息集合；当所述页码范围不唯一时，将所述点读图片在所述页码范围的预设页码图片中搜索，得到与所述点读图片匹配的目标页码图片；根据所述目标页码图片所属的页码，确定所述点读页面的目标页码。

进一步地，所述的获取用户的点读图片之前，包括：识别所述书本中每页的每个段落文字区域；对所述段落文字区域生成勾勒框，并确定所述勾勒框的坐标信息。

进一步地，当进入听写模式，且检测到用户听写完成时，获取目标图片，所述目标图片包含用户书写的听写内容；通过图像处理技术识别所述目标图片的文字区域；对所述文字区域进行文字切割，得到若干文字信息；采用预先构建的文字识别模型对所述文字信息进行识别；将识别结果与听写内容进行比对，得到对应的评判结果。

进一步地，所述的通过图像处理技术识别所述目标图片的文字区域包括：将所述目标图片灰度化，得到对应的灰度图；对所述灰度图进行边缘检测，得到书写内容的矩形轮廓；将所述矩形轮廓所包围的区域作为文字区域。

进一步地，所述文字识别模型是用一定数量的包含所述用户书写的文字、且标记了对应的文字内容的图像作为样本数据进行训练后得到。