[发明专利]一种多模式识别系统及盲人眼镜

权利要求书

1.一种多模式识别系统，其特征在于，包括：

避障模块，用于通过双目镜头获取障碍物的点云信息，并经过3D点云技术识别障碍物类别及获得障碍物的位置信息后，以语音播报方式将避障决策方案传递给盲人；

货物识别模块，用于通过光学字符识别技术识别超市货架上的商品标签；

货币识别模块，用于通过训练后的分类模型识别各个面值的货币；

拍照模块，用于通过双目镜头对人和物进行实时拍摄。

2.根据权利要求1所述的一种多模式识别系统，其特征在于，所述避障模块包括：

点云信息获取单元，用于通过双目镜头获取盲人周围的3D点云信息；

点云信息处理单元，用于通过3D点云技术在盲人周围的3D点云信息中获取障碍物的位置信息并识别所述障碍物的类别，所述位置信息包括障碍物的方位信息和距离信息；

决策单元，用于根据障碍物的位置信息生成对应的避障决策方案，并以语音播报的方式将避障决策方案传递给盲人。

3.根据权利要求2所述的一种多模式识别系统，其特征在于，通过3D点云技术在处理后的障碍物点云信息中识别障碍物类别的步骤包括：

将盲人周围的3D点云信息映射到二维图像上并栅格化；

利用聚类算法从栅格化的图像中得到障碍物的点云信息；

通过预设物体识别模型对得到的障碍物点云信息进行障碍物的识别。

4.根据权利要求3所述的一种多模式识别系统，其特征在于，建立所述预设物体识别模型的步骤包括：

通过预设方式获取多种障碍物的图像数据，并建立对应的数据集；

将建立的数据集进行数据预处理；

将预处理后的数据集对第一预设物体识别模型进行训练；

将训练后的第一预设物体识别模型的参数迁移至第二预设物体识别模型；

将预处理后的数据集通过训练冻结的方式对第二预设物体识别模型进行训练，得到训练后的物体识别模型；

对训练后的物体识别模型进行模型优化，得到预设物体识别模型。

5.根据权利要求4所述的一种多模式识别系统，其特征在于，对训练后的物体识别模型进行模型优化的步骤包括：

通过网格搜索算法找寻物体识别模型的最优参数；

通过非极大值抑制算法去除输入到分类器中的冗余的建议框；

通过余弦退火算法衰减模型的学习率使模型趋于最优解。

6.根据权利要求2所述的一种多模式识别系统，其特征在于，通过3D点云技术在盲人周围的点云信息中获取障碍物的位置信息的方法为：通过双目镜头发射的红外结构光获取识别到的障碍物的方位信息和距离信息。

7.根据权利要求1所述的一种多模式识别系统，其特征在于，通过分类模型识别各个面值的货币的步骤包括：

通过预设方式获取货币的图像数据，并建立货币数据集；

对建议的货币数据集进行预处理，所述预处理包括对货币的图像数据进行标记；

通过预处理后的货币数据集对预设分类模型进行训练，得到训练后的分类模型。

8.一种盲人眼镜，其特征在于，包括：

框架眼镜，框架眼镜上设置有双目镜头，与双目镜头电连接的控制芯片，所述控制芯片中包含权利要求1中所述的多模式识别系统；

框架眼镜的侧边上设置有多个按钮，所述按钮与控制芯片电连接。