[发明专利]一种用于辅助视觉障碍者理解图片的方法及装置

说明书

本发明公开了一种用于辅助视觉障碍者理解图片的方法及装置，涉及图片处理技术领域，首先获取用户上传图像，并且对图像进行特征提取，然后对图像的特征点数量、图像的特征点分布率、图像高度和图像宽度进行标记，并且计算得出图像判定系数；再设定标准图像判定系数和判定阈值，利用图像判定系数和标准图像判定系数计算得出判定系数，并且将所有的判定系数合成为判定集合，将判定阈值和判定集合进行特征匹配，若相匹配，则将匹配的判定系数所对应的图像数据进行提取；最终将匹配的判定系数所对应的图像数据的文本信息进行提取，并且将文本信息转换为语音信息，并将语音提供给视觉障碍者听，实现自动将图像信息转换给视觉障碍者听的功能。

技术领域

本发明涉及图片处理技术领域，具体的是一种用于辅助视觉障碍者理解图片的方法及装置。

背景技术

视觉障碍也称为视觉障碍“视力残疾”、“视觉缺陷”、“视力损伤”等。是指视觉器官(包括眼睛、眼神经)和大脑视神经中枢的结构或功能部分或全部障碍，表现为不同程度的视力损失或视力缩小，难以做普通人可以从事工作、学习或其他活动，以限制或阻碍其年龄、性别、社会和文化条件的正常作用。视觉障碍者难以看到显示屏幕上的文本或图像，执行眼睛和手(如移动计算机鼠标)的任务。

对于视觉障碍者而言，在使用电子设备时，需要进行辅助，以使用手机为例，当打开旁白后，手机会按照触摸区块来朗读手指碰触区域范围内的内容；同时操作从轻点和滑动换成轻点朗读触摸区域，双击，长按来负责交互。但是，由于图片内容的丰富性，在缺少对图片内容的文字描述的前提下，如何使视觉障碍者理解展示的图片内容获取图片信息是亟待解决的技术问题。

发明内容

为解决上述背景技术中提到的不足，本发明的目的在于提供一种用于辅助视觉障碍者理解图片的方法及装置，能够自动将图像信息转换给视觉障碍者听。

本发明的目的可以通过以下技术方案实现：一种用于辅助视觉障碍者理解图片的装置，包括：数据采集模块、数据处理模块、数据分析模块、执行模块，

所述数据采集模块用于采集用户上传的图像，并且将用户上传的图像发送至数据处理模块进行数据处理；

所述数据处理模块在接收到数据采集模块发送的用户上传的图像后，将用户上传的图像标记为图像数据，并对图像数据进行数据处理，通过计算得出图像判定系数，将图像判定系数发送至数据分析模块进行数据分析；

所述数据分析模块在接收到数据处理模块发送的图像判定系数后，进行数据分析，设定设定标准图像判定系数和判定阈值，利用图像判定系数和标准图像判定系数计算得出判定系数，并且将所有的判定系数合成为判定集合，将判定阈值和判定集合进行特征匹配，若判定阈值与判定集合内的部分判定系数相匹配，则将匹配的判定系数所对应的图像数据进行提取并标记为二次图像数据，发送至执行模块；

所述执行模块在接收到数据分析模块发送的二次图像数据后，将图像数据内的文本信息进行提取，并且转换为语音信息，然后将语音信息转换成语音提供给视觉障碍者。

优选地，所述数据处理模块包括图像特征提取网络模型，用于对图像进行特征提取。

优选地，所述数据处理模块的处理过程包括以下步骤：

将图像数据进行特征提取，所述特征提取的部分包括图像的特征点数量、图像的特征点分布率、图像高度和图像宽度；

将图像的特征点数量标记为S_i，图像的特征点分布率标记为Fi，图像高度标记为G_i，图像宽度标记为K_i，其中，i为采集次数标号，且i＝1、2、3、...、n，n为采集次数总数；