[发明专利]一种基于家教设备的辅助学习方法及家教设备

权利要求书

1.一种基于家教设备的辅助学习方法，其特征在于，包括：

当进入点读模式，且检测到用户对书本进行点读操作时，获取用户的点读图片，所述点读图片包括点读页面的页码定位信息；

根据所述页码定位信息，确定所述点读页面的目标页码；

根据所述点读图片中的用户手指坐标信息与所述目标页码的勾勒框坐标信息，确定目标勾勒框，并播放与所述目标勾勒框对应的点读语音文件。

2.根据权利要求1所述的基于家教设备的辅助学习方法，其特征在于，所述的根据所述页码定位信息，确定所述点读页面的目标页码，包括：

所述页码定位信息为勾勒框信息；

根据所述点读图片的勾勒框信息与所述书本的点读信息，确定所述点读页面的页码范围；所述点读信息包括所述书本中每个存在勾勒框的页面所对应的页码和勾勒框数的配对信息集合；

当所述页码范围不唯一时，将所述点读图片在所述页码范围的预设页码图片中搜索，得到与所述点读图片匹配的目标页码图片；

根据所述目标页码图片所属的页码，确定所述点读页面的目标页码。

3.根据权利要求2所述的基于家教设备的辅助学习方法，其特征在于，所述的获取用户的点读图片之前，包括：

识别所述书本中每页的每个段落文字区域；

对所述段落文字区域生成勾勒框，并确定所述勾勒框的坐标信息。

4.根据权利要求1所述的基于家教设备的辅助学习方法，其特征在于：

当进入听写模式，且检测到用户听写完成时，获取目标图片，所述目标图片包含用户书写的听写内容；

通过图像处理技术识别所述目标图片的文字区域；

对所述文字区域进行文字切割，得到若干文字信息；

采用预先构建的文字识别模型对所述文字信息进行识别；

将识别结果与听写内容进行比对，得到对应的评判结果。

5.根据权利要求4所述的基于家教设备的辅助学习方法，其特征在于，所述的通过图像处理技术识别所述目标图片的文字区域包括：

将所述目标图片灰度化，得到对应的灰度图；

对所述灰度图进行边缘检测，得到书写内容的矩形轮廓；

将所述矩形轮廓所包围的区域作为文字区域。

6.根据权利要求4所述的基于家教设备的辅助学习方法，其特征在于：

所述文字识别模型是用一定数量的包含所述用户书写的文字、且标记了对应的文字内容的图像作为样本数据进行训练后得到。

7.一种家教设备，其特征在于，包括：

点读图片获取模块，用于当进入点读模式，且检测到用户对书本进行点读操作时，获取用户的点读图片，所述点读图片包括点读页面的页码定位信息；

页码识别模块，用于根据所述页码定位信息，确定所述点读页面的目标页码；

点读播放模块，用于根据所述点读图片中的用户手指坐标信息与所述目标页码的勾勒框坐标信息，确定目标勾勒框，并播放与所述目标勾勒框对应的点读语音文件。

8.根据权利要求7所述的家教设备，其特征在于，还包括：

点读信息制作模块，用于识别所述书本中每页的每个段落文字区域；对所述段落文字区域生成勾勒框，并确定所述勾勒框的坐标信息。

9.根据权利要求7所述的家教设备，其特征在于，还包括：

听写目标获取模块，用于当进入听写模式，且检测到用户听写完成时，获取目标图片，所述目标图片包含用户书写的听写内容；

文字区域识别模块，用于通过图像处理技术识别所述目标图片的文字区域；

文字切割模块，用于对所述文字区域进行文字切割，得到若干文字信息；

文字识别模块，用于采用预先构建的文字识别模型对所述文字信息进行识别；

评判模块，用于将识别结果与听写内容进行比对，得到对应的评判结果。

10.根据权利要求9所述的家教设备，其特征在于，还包括：

文字识别模型构建模块，用于用一定数量的包含所述用户书写的文字、且标记了对应的文字内容的图像作为样本数据进行训练后，得到所述文字识别模型。