[发明专利]基于听觉与触觉引导的智能助盲系统及方法

说明书

一种基于听觉与触觉引导的智能助盲系统，包括：声音采集模块、摄像模块、信息处理模块、听觉刺激模块和触觉刺激模块，声音采集模块采集外界的声音信号并输出至信息处理模块，摄像模块采集外界的场景图像信息并输出至信息处理模块，信息处理模块分析处理外界声音信号和场景图像信息，并通过听触觉信息分配算法将处理结果分别输出至听觉刺激模块和触觉刺激模块，听觉刺激模块根据处理结果输出语音提示，触觉刺激模块根据处理结果实施触觉刺激；本发明通过听觉、触觉刺激模块联合引导，将具有虚拟三维立体音效、包含目标物相对于摄像模块的位置和空间估测距离信息的提示语音传递给用户，通过触觉刺激模块给予用户目标物相对于取物手方向和距离的提示信息以高效完成日常复杂活动。

技术领域

本发明涉及的是一种生物医学工程领域的技术，具体是一种基于听觉与触觉引导的智能助盲系统及方法。

背景技术

现有的助盲装置只有引导盲人靠近所需物品的功能，没有涉及对盲人伸手取物过程的引导；单一地采用语音提示的助盲设备，没有对盲人敏锐的触觉感知能力加以利用，难以高效完成较为复杂的日常任务；采用深度摄像机获取空间深度信息的助盲装置，成本高、功耗大、复杂度高。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于听觉与触觉引导的智能助盲系统及方法，通过听觉、触觉刺激模块，使用户受到听觉和触觉的联合引导，将具有虚拟三维立体音效、包含目标物相对于摄像模块的位置和空间估测距离信息的提示语音传递给用户，并通过触觉刺激模块给予用户目标物相对于取物手方向和空间估测距离的提示信息，使用户能更高效地完成日常生活中的复杂活动，减少其因失明而带来的不便。

本发明是通过以下技术方案实现的：

本发明涉及一种基于听觉与触觉引导的智能助盲系统，包括：声音采集模块、摄像模块、信息处理模块、听觉刺激模块和触觉刺激模块，其中：声音采集模块采集外界的声音信号并输出至信息处理模块，摄像模块采集外界的场景图像信息并输出至信息处理模块，信息处理模块分析处理外界声音信号和场景图像信息，并通过听触觉信息分配算法将处理结果分别输出至听觉刺激模块和触觉刺激模块，听觉刺激模块根据处理结果输出语音提示，触觉刺激模块根据处理结果实施触觉刺激。

本发明涉及上述系统的控制方法，包括以下步骤：

步骤1：首次使用时，先通过声音采集模块在安静环境中录入用户的语音样本，由信息处理模块提取并分析其语音特征后，建立用户语音特征模型，并存入语音特征模型库中；

步骤2：寻物过程中，声音采集模块和摄像模块持续采集外界声音和用户周围场景图像并发送给信息处理模块；

步骤3：信息处理模块将外界声音信号与用户语音特征模型进行比对，当判断外界声音信号中不存在用户语音信号，则信息处理模块不生成任何输出信息或指令，并继续对外界声音信号进行分析处理；当判断其中存在用户的语音信号，则信息处理模块对其进行提取、转文字并生成目标物名称及其特征描述的处理；

步骤4：信息处理模块根据目标物名称及其特征描述，在场景图像中进行目标物识别、检测和深度信息估计并通过目标物存在性判断算法对目标物是否存在于图像中进行判断，当信息处理模块判断图像中不存在目标物，则生成图像中无目标物的处理结果并对听觉刺激模块发送提示指令，听觉刺激模块以语音提示的方式，告诉用户未发现目标物并请其调整方位，随后重复步骤3；否则，进入步骤5；

步骤5：信息处理模块将目标物相对于摄像模块的方向和空间估测距离信息，转化成相应提示语音信号并进行虚拟三维立体声修饰处理，发送给听觉刺激模块；