[发明专利]一种基于图像识别的绘本阅读方法及装置

说明书

本发明涉及数据处理技术领域，公开了一种基于图像识别的绘本阅读方法及装置，该方法包括：获取绘本的封面图像；判断所述封面图像是否与本地预存的绘本封面匹配，若是，播放匹配的绘本封面的音频，并加载所述匹配的绘本的内容图像数据；否则，将所述封面图像上传至后台并在后台进行检索；将检索到的绘本封面的音频及绘本内容图像数据下载至本地；通过本地与后台图像识别相结合的检索方式，既支持大量绘本阅读，也可以在线更新绘本数据，提高了绘本阅读速度。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于图像识别的绘本阅读方法及装置。

背景技术

绘本，英文名称Picture Book，指一类以绘画为主，并附有少量文字的书籍，绘本页数相对较少。

传统的绘本阅读方法有两种：一种是点读笔，利用在书本上加印二维码的技术，将声音文件植入书本中，使用者在使用过程中选择要点读的某一页，随便点击该页上的图案、文字、数字等内容，点读笔都能通过笔头上装配的高速摄像头识别书本上的二维码而读出对应内容的声音文件。另一种点读机，点读机使用的原理是在制作发音文件过程中，给发音文件预先设置好对应书本内容的“经纬位置”，使用者将课本置于机器平板上，用专用的笔点书本上的文字、图画、数字等内容，机器就会发出相对应的声音。

随着技术发展，除了上述的传统的绘本阅读方法外，还可以通过图像识别技术实现绘本阅读，这种方法的原理是：通过图像识别技术识别摄像头当前拍到是那一本绘本的封面，然后再实时识别用户翻到那一页，识别到封面或页图后，则播放预先存储的音频或文字合成的音频，达到用户放哪一本绘本，则读那一本绘本，翻到哪一页，读那一页的功能。绘本封面和页图像，录音，文字等数据需要预先录入，随着绘本数量的增加，对CPU能力和内存要求也越高。

通过图像识别技术实现绘本阅读有两种方式：一种离线方式，所有绘本数据和图像识别算法都在绘本阅读设备(如绘本阅读机器人)运行，但由于绘本阅读设备的定位以及成本要求，其他CPU性能相对较弱，内存也相对比较小，因此这种方式只能支持少量的绘本，设备销售后无法增加绘本数据。另一种是在线方式，绘本数据和图像识别算法都在后台服务器，这种方式由于将图像数据上传到后台再进行识别，识别时间较慢且受网络影响，图像识别速度较慢，因此绘本阅读体验较差。

发明内容

本发明的主要目的在于提出一种基于图像识别的绘本阅读方法及装置，通过本地与后台图像识别相结合的检索方式，既支持大量绘本阅读，也可以在线更新绘本数据，提高了绘本阅读速度。

为实现上述目的，本发明提供的一种基于图像识别的绘本阅读方法，包括：

获取绘本的封面图像；

判断所述封面图像是否与本地预存的绘本封面匹配，若是，播放匹配的绘本封面的音频，并加载所述匹配的绘本的内容图像数据；

否则，将所述封面图像上传至后台并在后台进行检索；

将检索到的绘本封面的音频及绘本内容图像数据下载至本地。

可选地，所述获取绘本的封面图像包括：

开启绘本阅读设备，加载本地预存的绘本封面数据；

开启摄像头，采集图像数据；

判断所述图像数据的熵值是否大于预设的阈值，若是，则所述图像数据包括绘本的封面图像，否则，不进行图像分析与匹配。

可选地，所述播放匹配的绘本封面的音频，并加载所述匹配的绘本的内容图像数据之后还包括：

实时获取所述摄像头采集到的图像数据；

判断所述图像数据是否有更新，若是，对更新后的图像数据进行图像分析和匹配；

获取所述更新后的图像数据的页码数据；