[发明专利]一种基于手势协助定位学习的方法和系统

说明书

本发明提供了一种基于手势协助定位学习的方法和系统，其方法包括：拍摄获取目标图片；目标图片包括学生使用手指在书本上所指定的提问区域图像和手指指在书本上时的手指部位图像；对所述手指部位图像进行识别得到对应的手指姿态，将所述手指姿态与手势映射关系表进行匹配得到对应的定位范围；根据定位范围和提问区域图像，解析得到书本上所指定的区域对应的问题内容，根据问题内容获取对应的问题答案；向学生告知问题答案。本发明实现脱离手机，平板电脑等电子设备学习，避免以学习为由借机玩而耽误学习。通过手势智能切换定位范围以对书上指定区域进行定位得到不同的问题内容，不需语言结合就能迅速、高效的协助学生进行快速方便的提问学习。

技术领域

本发明涉及智能学习产品领域，尤指一种基于手势协助定位学习的方法和系统。

背景技术

学习对于学生而言是至关重要的，然而，学生在学习过程中往往会遇到各种各样的疑惑不解，在这个快节奏的生活环境下，家长没有充足的时间辅导孩子，学校的老师往往需要教育很多学生，没有足够的精力注意到每个学生的学习进度和学习情况，即使课外辅导班有一对一的辅导老师进行辅导教学，但是价格昂贵，给家长带来了较大的经济压力，从而，使得越来越多的学生无法及时解决学习上碰到的问题，引起学习成绩下降。

目前，市面上有许多的电子设备用于学习，例如平板电脑，手机，学习机等等，能够一定程度上解决学生学习过程中遇到的疑难问题。一种方式是，利用电子设备对着书本拍摄照片后，搜索出问题的答案；另一种方式是对着电子设备说出问题，搜索出问题的答案。

以上帮助学生解决作业问题的方式，存在以下缺陷：(一)脱离学生的作业场景，在额外的电子设备上进行查询和查看；(二)脱离不了平板电脑，手机等电子设备，学生会以学习为由借机玩平板电脑，手机，耽误学习；(三)通过手指触摸进行协助定位问题区域，不能智能、方便的切换定位范围，无论是对题目中某一语句进行学习，还是对整个题目进行学习，都需要使用手指针对问题所在的位置进行移动，并由摄像头进行拍摄移动轨迹实现定位得到提问区域图像，一旦题目冗长时，需要长时间移动手指进行协助定位，操作时间花费长，学习体验差。(四)根据语音+书本拍摄进行问题定位切换，需要分别对语音和书本图像进行分析，CPU处理工作量大，导致解析获取问题内容的效率也大大降低，进而影响学生的学习效率。

发明内容

本发明的目的是提供一种基于手势协助定位学习的方法和系统，实现不仅脱离了手机，平板电脑等电子设备，避免出现学生以学习为由借机玩手机或平板电脑，耽误学习；还更符合学生的学习场景。另外，智能切换对书上指定的区域的不同问题定位范围，从而得到不同的问题内容，不需要语言结合的方式就能迅速、高效的协助学生进行快速方便的提问学习。

本发明提供的技术方案如下：

本发明提供一种基于手势协助定位学习的方法，包括步骤：

拍摄获取目标图片；所述目标图片包括学生使用手指在书本上所指定的提问区域图像和手指指在书本上时的手指部位图像；

对所述手指部位图像进行识别得到对应的手指姿态，将所述手指姿态与手势映射关系表进行匹配得到对应的定位范围；

根据所述定位范围和所述提问区域图像，解析得到书本上所指定的区域对应的问题内容，根据问题内容获取对应的问题答案；

向学生告知问题答案。

进一步的，所述对所述手指部位图像进行识别得到对应的手指姿态，将所述手指姿态与手势映射关系表进行匹配得到对应的定位范围具体包括步骤：

将所述手指部位图像输入预训练得到的手指姿态识别分类模型中，识别所述手指部位图像对应的手指姿态；

当与所述手势映射关系表匹配得到的手指姿态为语句提问姿态时，得到行列定位范围；

当与所述手势映射关系表匹配得到的手指姿态为题目提问姿态时，得到整体定位范围。