[发明专利]一种基于增强现实与智能手机的盲人信息服务方法及系统

摘要

本发明提供了一种基于增强现实与智能手机的盲人信息服务方法及系统，其中，方法的步骤包括语音信号采集、指令头匹配、指令内容匹配、发送执行指令、发送开启指令、获取数据、实时服务和服务结束，系统包括实时语音采集模块、匹配不成功处理模块、设备开启模块、导航模块、指令头匹配模块、指令内容匹配模块、执行指令发送模块和指令执行模块。本发明的方法及系统通过增强现实技术与智能手机的有效结合，能有效增强盲人对于现实的感知能力，提高盲人生活质量。

主权项

一种基于增强现实与智能手机的盲人信息服务方法，包括智能手机和服务器，所述智能手机包括手机处理器、摄像头、麦克风、扬声器、手机无线通信模块以及GPS/LBS定位模块，所述摄像头、麦克风、扬声器、手机无线通信模块以及GPS/LBS定位模块均与手机处理器相连，所述摄像头正对于盲人用户的正前方，所述服务器包括控制器、数据库和服务器无线通信模块，所述手机无线通信模块与服务器无线通信模块无线连接，其特征在于，具体为如下步骤：步骤1，手机处理器实时接收麦克风采集的语音信号，并按时间先后顺序逐一将语音信号发送至服务器；步骤2，控制器将接收的语音信号与数据库中预先设定的指令头进行匹配对应，所述指令头表明语音信号是否为盲人信息服务指令，若为预先设定的盲人信息服务指令，则进入步骤4，若不是预先设定的盲人信息服务指令，则由控制器向手机处理器返回匹配不成功信息，并进入步骤3；步骤3，手机处理器在接收到匹配不成功信息后，向扬声器发送匹配不成功的语音播报指令，并返回步骤1；步骤4，控制器将接收的语音信号与数据库中预先设定的指令内容进行匹配对应，所述指令内容表明语音信号需要执行的盲人信息服务项目，所述盲人信息服务项目包括导航、购物和搜索物品，若为预先设定的盲人信息服务项目，则进一步对语音信号进行识别，提取获得相应的服务项目关键词，所述服务项目关键词包括导航的目的地、购物的目的地以及物品的名称；步骤5，控制器向手机处理器发送相应的执行指令，若盲人信息服务项目为导航项目或购物项目，则向手机处理器发送开启GPS/LBS定位模块指令，若盲人信息服务项目为搜索物品项目，则向手机处理器发送开启摄像头指令；步骤6，手机处理器根据执行指令开启GPS/LBS定位模块或摄像头，对当前位置信息或图像进行采集，并将采集的位置信息或图像发送给控制器；步骤7，控制器根据盲人信息服务项目进行相应处理，若盲人信息服务项目为导航项目，则控制器根据位置信息和导航的目的地在数据库中查询合适的导航路线，再将导航路线发送给手机处理器，若盲人信息服务项目为购物项目，则控制器根据位置信息和购物目的地在数据库中查询合适的购物路线，再将购物路线发送给手机处理器，若盲人信息服务项目为搜索物品，则控制器首先根据物品名称在数据库中查询对应的物品特征，再将物品特征与图像进行匹配对应，若图像中存在对应特征的物品，则进一步判断该物品在图像中的相对位置，再将相对位置发送给手机处理器，若图像中不存在对应特征的物品，则向手机处理器发送开启摄像头指令，并返回步骤6；步骤8，手机处理器接收导航路线、购物路线或物品在图像中的相对位置，并向扬声器发送语音播报指令，将导航路线、购物路线或物品在图像中的相对位置以语音的形式播报出来，再结合实时接收的GPS/LBS定位模块或摄像头采集的位置信息或图像，实时更新导航路线、购物路线或物品在图像中的相对位置，并将更新的导航路线、购物路线或物品在图像中的相对位置以语音的形式播报出来。