[发明专利]一种红绿灯路口导盲方法及装置

说明书

本发明提供一种红绿灯路口导盲方法及装置。所述方法包括：实时获取导盲装置前方的视频图像；利用识别模型检测所述图像中是否包括红绿灯，如果包括，输出所述红绿灯的状态以及红绿灯与导盲装置的距离；如果检测到多组红绿灯，基于红绿灯与导盲装置的距离和红绿灯偏离图像视野中心的距离识别出一组目标红绿灯；如果只检测到一组红绿灯，所述红绿灯即为目标红绿灯；通过语音模块实时播放与目标红绿灯相关的提醒信息。本发明不但能够自动检测路口的红绿灯状态，还能从检测到的多组红绿灯中识别出目标红绿灯，可以有效减少环境干扰，提高红绿灯识别精度，为佩戴者提供更加稳定可靠的信息，从而增加佩戴者过红绿灯路口的安全性。

技术领域

本发明属于人工智能技术领域，具体涉及一种红绿灯路口导盲方法及装置。

背景技术

中国是全世界盲人最多的国家，约有500万盲人，占全世界盲人口的18％。就绝对数字而言，中国盲人数早已超过诸如丹麦、芬兰或挪威等国家的人口。而每年在中国约有45万人失明。中国卫生部也曾指出，人口的迅速老龄化，人口增长等因素造成了中国盲人数量的不断增加。与之相对的是中国现有的公共设施并没有充分考虑盲人群体的使用场景，例如红绿灯的设置等，这使得盲人在通过红绿灯路口时存在极大的不便甚至危险。

随着深度学习、计算机视觉、化学电池等技术的发展，一种可以长时间佩戴并且不会增加安全风险的可佩戴设备应运而生，最为常见的就是智能眼镜。这种设备不仅易收纳、易佩戴，而且较为美观实用。现有的智能眼镜一般使用红外测距模块进行距离测量，但是在过红绿灯路口的场景下，因为佩戴高度和遮挡问题，红外测距模块通常无法测定佩戴者与对面红绿灯的距离。

发明内容

为了解决现有技术中存在的上述问题，本发明提供一种红绿灯路口导盲方法及装置。

为了实现上述目的，本发明采用以下技术方案。

第一方面，本发明提供一种红绿灯路口导盲方法，包括在导盲装置中执行的以下步骤：

实时获取导盲装置前方的视频图像；利用识别模型检测所述图像中是否包括红绿灯，如果包括，输出所述红绿灯的状态以及红绿灯与导盲装置的距离；

如果检测到多组红绿灯，基于红绿灯与导盲装置的距离和红绿灯偏离图像视野中心的距离识别出一组目标红绿灯；如果只检测到一组红绿灯，所述红绿灯即为目标红绿灯；

通过语音模块实时播放与目标红绿灯相关的提醒信息。

进一步地，所述识别模型主要由多个基础卷积模块组成，采用一个主干网络对输入的视频图像进行特征提取，并基于提取的图像特征分别采取两种不同的算法，在两个输出端分别输出红绿灯检测结果和红绿灯与导盲装置的距离。

更进一步地，所述基础卷积模块采用将所有激活函数由ReLU替换为PReLU后的MobilenetV2结构。

进一步地，所述识别模型的训练方法包括：

获取实际的红绿灯路口的视频图像；

对所述图像进行标注，包括红绿灯在所述图像中的位置信息、红绿灯颜色信息、像素级深度图信息；

构建训练数据集，利用所述训练数据集对所述识别模型进行训练。

进一步地，当检测到多组红绿灯时，目标红绿灯的识别方法包括：

对检测到的多组红绿灯按照它们与导盲装置的距离从小到大的顺序排序，选取排在最前面的N组红绿灯，N≥1；

分别计算所述N组红绿灯与图像视野中心的距离，所述距离最小的一组红绿灯即为目标红绿灯。

更进一步地，红绿灯与图像视野中心的距离的计算方法包括：

建立以图像左上角为原点、以过左上角的两条直角边分别为横轴和纵轴的直角坐标系；