[发明专利]一种辅助阅读方法、系统及存储介质

说明书

本发明公开了一种辅助阅读方法、系统及存储介质。包括：获取用户注视目标的图像，并对所述图像进行文字识别，获得所述图像中包含的文字；对所述用户进行视线追踪，获得用户的注视点信息；将所述注视点信息映射到所述图像中，获得用户当前注视的目标文字；将所述目标文字转换为音频进行播放。本公开实施例公开的辅助阅读方法，将用户的注视点信息映射至用户注视目标的图像中，获得用户当前注视的目标文字，并将目标文字转换成音频进行播放，可以实现儿童对任意文本的自主阅读，无需家长参与就可以辅助阅读，提高了辅助阅读的便捷性。

技术领域

本发明实施例涉及辅助阅读技术领域，尤其涉及一种辅助阅读方法、系统及存储介质。

背景技术

目前儿童自主阅读产品主要有点读机、有声绘本等，解决了低年龄幼儿识字量不多，不能自主阅读的情况。有声绘本在使用时儿童将绘本翻到哪页，就会自动读出相应的文字，但只能机械的阅读一整篇文章，孩子很难集中注意力，只能等它读完再翻到下一页。点读机可以按照儿童的指示进行阅读和学习，但是必须针对特定的书本或者硬件(带显示屏的设备等)，不是所有的书籍都可以以点读的方式进行阅读。同样的，有声绘本也是要针对特定的书才可以。不能适应所有的电子绘本或者实体书籍。

因此，对于大多数普通书本，还是需要家长在旁边一边翻书一遍给孩子讲故事，这种方式要占用家长较多时间，在没有家长陪伴的情况下，孩子无法自己阅读书籍。

发明内容

本发明实施例提供一种辅助阅读方法、系统及存储介质，可以实现儿童对任意文本的自主阅读，无需家长参与就可以辅助阅读，提高了辅助阅读的便捷性。

第一方面，本发明实施例提供了一种辅助阅读方法，包括：

获取用户注视目标的图像，并对所述图像进行文字识别，获得所述图像中包含的文字；

对所述用户进行视线追踪，获得用户的注视点信息；

将所述注视点信息映射到所述图像中，获得用户当前注视的目标文字；

将所述目标文字转换为音频进行播放。

进一步地，获取用户注视目标的图像，包括：

若用户注视目标的图像通过显示装置显示，则获取所述图像的来源；

根据所述来源获取所述用户注视目标的图像；或者，

通过摄像头对显示的内容进行拍摄，获得所述用户注视目标的图像。

进一步地，获取用户注视目标的图像，包括：

若用户注视的目标是实物书籍，则通过摄像头对用户注视的实物书籍进行拍摄，获得所述用户注视目标的图像。

进一步地，将所述注视点信息映射到所述图像中，获得用户当前注视的目标文字，包括：

获取所述注视点信息在所述图像中对应的坐标信息；

基于所述坐标信息确定用户当前注视的目标文字。

进一步地，将所述目标文字转换为音频进行播放，包括：

判断用户注视所述目标文字的时长是否超过设定值，

若超过，则将所述目标文字转换为音频进行播放。

第二方面，本发明实施例还提供了一种辅助阅读系统，包括：图像获取模块、文字识别模块、视线追踪模块、注视点信息映射模块及音频播放模块；