[发明专利]一种多模式识别系统及盲人眼镜

说明书

本发明属于计算机深度学习技术领域，提供了一种多模式识别系统及盲人眼镜，包括：避障模块，用于通过双目镜头获取障碍物的点云信息，并经过3D点云技术识别障碍物类别及获得障碍物的位置信息后，以语音播报方式将避障决策方案传递给盲人；货物识别模块，用于通过光学字符识别技术识别超市货架上的商品标签；货币识别模块，用于通过训练后的分类模型识别各个面值的货币；拍照模块，用于通过双目镜头对人和物进行实时拍摄。本发明的优点在于将盲人生活中常见的场景模式融合成一体，形成了一种多模式的识别系统，并将该多模式的识别系统应用在眼镜上，对盲人的生活和出行提供了极大的便利。

技术领域

本发明涉及计算机深度学习技术领域，尤其涉及一种多模式识别系统及盲人眼镜。

背景技术

盲人是一个特殊的弱势群体，他们的生活质量和生存状况是我国政府和社会长期关注的重点问题。据中国盲人协会官网公布数据显示，截至2019年，我国约有1700余万盲人，位居世界第一，盲人的生活起居及工作成为了一个严重社会问题。

由于身体上的缺陷，致使盲人在日常生活中会遇到诸多不便。例如：穿越马路、上下台阶、识别文字等。

目前市面上已有的盲人避障眼镜主要有以下3种：

(1)超声波盲人避障眼镜是通过超声波反射获取障碍物距离，再转换为音频信号，其主要缺陷有：易受温度、风向和噪音等环境因素干扰；

(2)通过双摄像头采集数据，经外挂设备处理信息后，以水滴声作为提示音的盲人避障眼镜，其主要缺陷是：获取数据视角窄、提示音不明晰；

(3)脑机接口盲人避障眼镜，其需要在颅骨上进行电极金属片植入，通过获取的电脉冲信号实现黑白成像。主要缺陷是：存在手术不确定风险、价格昂贵。

发明内容

本发明的目的在于提供一种多模式识别系统及盲人眼镜，用以解决盲人多种场景下无法识别对应信息的问题；

为了实现上述目的，本发明采用的技术方案为：

一种多模式识别系统，包括：

避障模块，用于通过双目镜头获取障碍物的点云信息，并经过3D点云技术识别障碍物类别及获得障碍物的位置信息后，以语音播报方式将避障决策方案传递给盲人；

货物识别模块，用于通过光学字符识别技术识别超市货架上的商品标签；

货币识别模块，用于通过训练后的分类模型识别各个面值的货币；

拍照模块，用于通过双目镜头对人和物进行实时拍摄。

进一步的，避障模块包括：

点云信息获取单元，用于通过双目镜头获取盲人周围的3D点云信息；

点云信息处理单元，用于通过3D点云技术在盲人周围的3D点云信息中获取障碍物的位置信息并识别所述障碍物的类别，所述位置信息包括障碍物的方位信息和距离信息；

决策单元，用于根据障碍物的位置信息生成对应的避障决策方案，并以语音播报的方式将避障决策方案传递给盲人。

进一步的，通过3D点云技术在处理后的障碍物点云信息中识别障碍物类别的步骤包括：

将盲人周围的3D点云信息映射到二维图像上并栅格化；

利用聚类算法从栅格化的图像中得到障碍物的点云信息；

通过预设物体识别模型对得到的障碍物点云信息进行障碍物的识别。

进一步的，建立所述预设物体识别模型的步骤包括：

通过预设方式获取多种障碍物的图像数据，并建立对应的数据集；