[发明专利]盲人辅助方法、可穿戴式盲人辅助设备及存储介质在审
申请号: | 202310099015.7 | 申请日: | 2023-01-31 |
公开(公告)号: | CN116071648A | 公开(公告)日: | 2023-05-05 |
发明(设计)人: | 单治文;陈柳;彭宇哲;王润辉;艾耀政;唐志虎 | 申请(专利权)人: | 武汉工程大学 |
主分类号: | G06V20/10 | 分类号: | G06V20/10;A61H3/06;G06V40/10;G06V20/62;G06K7/14;G06V10/764;G06V10/82;G06V10/80;G06V10/30;G06V10/36;G06T5/00;G06T5/20;G06T5/50;G06N3/0464 |
代理公司: | 武汉智嘉联合知识产权代理事务所(普通合伙) 42231 | 代理人: | 张璐 |
地址: | 430000 湖北省武*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 盲人 辅助 方法 穿戴 设备 存储 介质 | ||
1.一种盲人辅助方法,应用于可穿戴式盲人辅助设备,其特征在于,包括:
采集用户周围环境图像,并对所述用户周围环境图像进行预处理,得到预处理后的图像;
根据训练完备的分类模型对所述预处理后的图像进行分类识别,得到用户当前环境的场景描述信息,其中,所述用户当前环境的场景描述信息包括室内场景信息和室外场景信息;
根据用户当前的场景描述信息,选取与用户当前的场景描述信息对应的处理方式对用户进行导盲辅助处理,其中,若用户当前的场景描述信息为室外场景信息,所述与用户当前的场景描述信息对应的处理方式为人员密度检测模式,若用户当前的场景描述信息为室内场景信息,所述与用户当前的场景描述信息对应的处理方式为物品识别模式。
2.根据权利要求1所述的盲人辅助方法,其特征在于,所述可穿戴式盲人辅助设备包括单目摄像机和双目摄像机,所述采集用户周围环境图像,包括:
利用所述单目摄像机和所述双目摄像机采集用户三个方位的图像;
所述对所述用户周围环境图像进行预处理,得到预处理后的图像,包括:
利用预设校正算法对每一方位的图像的畸变进行校正,并对所述三个方位的图像进行图像融合,得到融合图像。
3.根据权利要求1所述的盲人辅助方法,其特征在于,所述根据训练完备的分类模型对所述预处理后的图像进行分类识别,包括:
采集多张室内、室外场景图片构建模型训练集;
将所述模型训练集通过CNN卷积神经网络进行深度学习,以对不同的场景进行识别分类,得到所述训练完备的分类模型;
根据所述训练完备的分类模型对所述预处理后的图像进行场景的分类识别。
4.根据权利要求1所述的盲人辅助方法,其特征在于,所述根据用户当前的场景描述信息,选取与用户当前的场景描述信息对应的处理方式对用户进行导盲辅助处理,包括:
若用户当前的场景描述信息为室外场景信息,选取人员密度检测模式对用户进行导盲辅助处理;
所述若用户当前的场景描述信息为室外场景信息,选取人员密度检测模式对用户进行导盲辅助处理,具体包括:
基于红外热成像技术,根据预设扫描规则对用户周围的人群数量进行扫描,以确定用户周围的人群密度,其中,所述预设扫描规则包括自动扫描方式和手动扫描方式;
若用户周围的人群密度小于预设密度值,向用户发送第一语音提示信息,其中,所述第一语音提示信息包括用户周围环境人群密度低于预设密度值的语音信息;
在向用户发送第一语音提示信息后,基于超声波技术测量用户与周围行人的相对距离;
若用户与周围行人的相对距离小于预设距离值,向用户发送第二语音提示信息,其中,所述第二语音提示信息包括用户周围存在危险的语音信息。
5.根据权利要求4所述的盲人辅助方法,其特征在于,所述确定用户周围的人群密度,还包括:
利用Cauchy模型对预处理后的图像中的目标行人轮廓进行建模,以确定预处理后图像中的关键参数,其中,所述关键参数包括目标行人的轮廓数据;
将所述目标行的人轮廓数据输入卷积神经网络模型中,经过卷积、下采样及全连接操作后输出目标行人的轮廓特征;
基于目标行人的轮廓特征统计用户周围的人群密度。
6.根据权利要求1所述的盲人辅助方法,其特征在于,若用户当前的场景描述信息为室内场景信息,选取与用户当前的场景描述信息对应的处理方式对用户进行导盲辅助处理,包括:
若用户当前的场景描述信息为室内场景信息,选取物品识别模式对用户进行导盲辅助处理;
所述若用户当前的场景描述信息为室外场景信息,选取人员密度检测模式对用户进行导盲辅助处理,具体包括:
基于预设的图像识别技术对物体进行识别,并向用户发送第三语音提示信息,其中,所述第三语音提示信息包括描述用户周围物品的语音信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉工程大学,未经武汉工程大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310099015.7/1.html,转载请声明来源钻瓜专利网。