[发明专利]多传感器智能盲人指路方法与装置

摘要

本发明提供了一种多传感器智能盲人指路方法与装置，其实现包括，建立障碍物图像特征库；路况信息实时采集；对采集到的信息预处理；图像中障碍物识别；障碍物提示语音合成；通过语音和振动提示盲人。成像传感器用红外和自然光双摄像头实现全天候道路图像采集，图像识别提取采集图像的语义文本信息；超声波测出障碍物距离，图像语义文本信息和距离信息传到语音合成中合成语音，告知盲人前方障碍物是什么、障碍物距离和道路坑洼状况。本发明在环境过于嘈杂时，通过振动来表达障碍物危险程度，危险程度越高，振动越快，振幅越大。本发明把图像识别技术、语音合成技术和超声波测距技术有效的结合在一起帮助盲人更好的出行。

主权项

一种多传感器智能盲人指路方法，其特征在于，包括有如下步骤：1)、建立障碍物图像特征库，采集道路场景中常见物体和道路常见坑洼状况图像，按照危险程度对采集的物体图像和道路图像进行分类，利用双峰平均值的阈值算法对所有图像进行二值化处理，将采集图像转化成灰度图像，然后再对灰度图像用surf算法提取特征向量，将提取的特征向量按照对应图像的危险程度保存到障碍物图像特征库中，并把所有的特征向量以及所一一对应的语义信息也保存到障碍物图像特征库中；2)路况信息实时采集，通过超声波传感器和成像传感器分别进行路况信息的采集，采用超声波传感器采集前方场景物体的距离信息，采用成像传感器采集道路场景图像信息；3)对采集到的信息预处理，超声波传感器中的接收器接收到前方障碍物反射回来的超声波，经过放大，整形处理，发送到超声波测距中的控制器进行前方障碍物距离计算，将前方障碍物的距离结果即距离信息发送到语音合成中，等待参与语音合成；成像传感器采集道路前方的障碍物和道路图像，然后对采集图像数据进行预处理，利用双峰平均值的阈值算法对采集图像进行二值化处理将采集图像转化成灰度图像，对灰度图像再进行分割操作，分割操作主要是把图像分成几个不同的区域或目标物，形成预处理图像；4)图像中障碍物识别，对预处理图像做surf图像特征提取，将每个特征点的特征描述向量提取出来，用当前提取的障碍物图像的特征向量和障碍物特征库中的图像特征向量作匹配，匹配成功后提取图像中障碍物和路况的语义文本信息，发送到语音合成中，等待参与语音合成；5)障碍物提示语音合成，通过语音合成，把从图像识别传递过来的图像语义文本信息和超声测距传递过来的距离信息进行分析处理，其过程包括：5.1语义文本分析，语义文本分析对实时获取的距离信息和图像语义文本信息进行分析整理，分析整理包括语言逻辑判断后形成符合语言逻辑的障碍物和路况提示语义文本和前方障碍物和路况的危险程度信息；5.2语音片段提取，根据障碍物和路况提示语义文本，从语音库中提取与语义文本对应的语音片段，估计该语音片段的语音周期，然后再对该语音片段信号的基音脉冲上进行标注；5.3语音片段的时长和基音频率修改，按照语音片段信号的标注位置，将该片段语音信号与一系列与基音同步的窗函数相乘，得到一系列有重叠的分析短时语音信号，按照韵律要求修改，得到语音基元；5.4语音拼接合成，将上述语音基元进行拼接，合成为满足韵律要求的语音信号；5.5模式设定和信号输出，输出信号包括语音输出和振动输出，输出之前要对输出模式进行设定，语音输出设定：设定语音信号输出时间间隔；振动输出设定：按照危险程度输出对应的振动模式，语音通过扬声器输出，振动通过振动器输出。