[发明专利]一种红绿灯路口导盲方法及装置

权利要求书

1.一种红绿灯路口导盲方法，其特征在于，包括以下步骤：

实时获取导盲装置前方的视频图像；利用识别模型检测所述图像中是否包括红绿灯，如果包括，输出所述红绿灯的状态以及红绿灯与导盲装置的距离；所述识别模型主要由多个基础卷积模块组成，采用一个主干网络对输入的视频图像进行特征提取，并基于提取的图像特征分别采取两种不同的算法，在两个输出端分别输出红绿灯检测结果和红绿灯与导盲装置的距离；所述基础卷积模块采用将所有激活函数由ReLU替换为PReLU后的MobilenetV2结构；

如果检测到多组红绿灯，基于红绿灯与导盲装置的距离和红绿灯偏离图像视野中心的距离识别出一组目标红绿灯；如果只检测到一组红绿灯，所述红绿灯即为目标红绿灯；当检测到多组红绿灯时，目标红绿灯的识别方法包括：对检测到的多组红绿灯按照它们与导盲装置的距离从小到大的顺序排序，选取排在最前面的N组红绿灯，N≥1；分别计算所述N组红绿灯与图像视野中心的距离，所述距离最小的一组红绿灯即为目标红绿灯；

通过语音模块实时播放与目标红绿灯相关的提醒信息。

2.根据权利要求1所述的红绿灯路口导盲方法，其特征在于，所述识别模型的训练方法包括：

获取实际的红绿灯路口的视频图像；

对所述图像进行标注，包括红绿灯在所述图像中的位置信息、红绿灯颜色信息、像素级深度图信息；

构建训练数据集，利用所述训练数据集对所述识别模型进行训练。

3.根据权利要求1所述的红绿灯路口导盲方法，其特征在于，红绿灯与图像视野中心的距离的计算方法包括：

建立以图像左上角为原点、以过左上角的两条直角边分别为横轴和纵轴的直角坐标系；

根据红绿灯的左上角和右下角的坐标计算红绿灯中心的坐标：

x₀＝(x₁+x₂)/2，y₀＝(y₁+y₂)/2

式中，(x₁,y₁)、(x₂,y₂)、(x₀,y₀)分别为红绿灯的左上角、右下角和中心的坐标；

根据图像的长度和宽度得到图像视野中心的坐标：

X＝a/2，Y＝b/2

式中，a、b分别为图像的长度和宽度，(X,Y)为图像视野中心的坐标；

红绿灯与图像视野中心的距离为：

4.根据权利要求1所述的红绿灯路口导盲方法，其特征在于，所述识别模型还输出剩余时间。

5.一种红绿灯路口导盲装置，其特征在于，所述装置包括：

红绿灯检测模块，用于实时获取导盲装置前方的视频图像；利用识别模型检测所述图像中是否包括红绿灯，如果包括，输出所述红绿灯的状态以及红绿灯与导盲装置的距离；所述识别模型主要由多个基础卷积模块组成，采用一个主干网络对输入的视频图像进行特征提取，并基于提取的图像特征分别采取两种不同的算法，在两个输出端分别输出红绿灯检测结果和红绿灯与导盲装置的距离；所述基础卷积模块采用将所有激活函数由ReLU替换为PReLU后的MobilenetV2结构；

目标红绿灯识别模块，用于如果检测到多组红绿灯，基于红绿灯与导盲装置的距离和红绿灯偏离图像视野中心的距离识别出一组目标红绿灯；如果只检测到一组红绿灯，所述红绿灯即为目标红绿灯；当检测到多组红绿灯时，目标红绿灯的识别方法包括：对检测到的多组红绿灯按照它们与导盲装置的距离从小到大的顺序排序，选取排在最前面的N组红绿灯，N≥1；分别计算所述N组红绿灯与图像视野中心的距离，所述距离最小的一组红绿灯即为目标红绿灯；

信息提醒模块，用于通过语音模块实时播放与目标红绿灯相关的提醒信息。

6.根据权利要求5所述的红绿灯路口导盲装置，其特征在于，红绿灯与图像视野中心的距离的计算方法包括：

建立以图像左上角为原点、以过左上角的两条直角边分别为横轴和纵轴的直角坐标系；

根据红绿灯的左上角和右下角的坐标计算红绿灯中心的坐标：

x₀＝(x₁+x₂)/2，y₀＝(y₁+y₂)/2

式中，(x₁,y₁)、(x₂,y₂)、(x₀,y₀)分别为红绿灯的左上角、右下角和中心的坐标；

根据图像的长度和宽度得到图像视野中心的坐标：

X＝a/2，Y＝b/2

式中，a、b分别为图像的长度和宽度，(X,Y)为图像视野中心的坐标；

红绿灯与图像视野中心的距离为：