[发明专利]一种基于RGB室外道路场景图像的红绿灯识别方法

权利要求书

1.一种基于RGB室外道路场景图像的红绿灯识别方法，其特征在于，包括如下步骤：

S1、基于Nvidia Tx2平台，实时获取道路场景的RGB图片，对RGB图片进行归一化处理后，输入CenterNet网络进行推理，得到各红绿灯的位置信息，所述红绿灯的位置信息包括各红绿灯的中心点坐标、宽度和高度；

S2、依据步骤S1中得到的各红绿灯的位置信息，从RGB原图片中抠取包含有红绿灯的目标区域，得到各个目标区域及其位置信息；

S3、将步骤S2中得到的各目标区域依次输入排除误检的自定义分类器中，剔除目标区域为背景的目标区域，保留目标区域为红绿灯正常显示的目标区域及其位置信息，所述目标区域为背景的目标区域包括红绿灯关闭的目标区域；

S4、将步骤S3中保留的各目标区域依次输入分类箭头方向的自定义分类器中，剔除目标区域为背景的目标区域，保留目标区域为向左箭头、向右箭头、向前箭头、掉头箭头或圆形指示灯的目标区域及其位置信息和箭头方向信息；

S5、将步骤S4中保留的各目标区域依次输入分类指示灯颜色的自定义分类器中，剔除目标区域颜色为背景的目标区域，保留目标区域为红色、黄色或绿色的目标区域及其位置信息、箭头方向和颜色；

S6、将步骤S5中保留的各目标区域依次提取特征，得到RGB图片中能识别到的红绿灯信息，所述红绿灯信息包括各红绿灯在RGB图片中的位置信息、红绿灯的方向信息和红绿灯的颜色信息；

所述S3步骤中排除误检的自定义分类器的网络模型包括输入层、隐藏层和输出层，分别如下：

输入层输入样本数据集，并将输入的样本数据集中的图片重定义尺寸大小为1*3*48*48，其中，用于训练和测试的样本数据集有两类：0类为正常显示的红绿灯图片，1类为与红绿灯类似的背景图片和指示灯关闭的红绿灯图片；

隐藏层共有六层，分别为：

第一层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；

第二层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；

第三层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；

第四层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；

第五层：包括一个卷积层、一个归一化层和一个激活函数层；

第六层：包括一个卷积层、一个归一化层和一个激活函数层；

输出层为二分类分类器，输出两个类别：0表示输入图片为背景，1表示输入图片为红绿灯，根据分类器输出排除误检；

所述S4步骤中分类箭头方向的自定义分类器的网络模型包括输入层、隐藏层和输出层，分别如下：

输入层输入样本数据集，并将输入的样本数据集中的图片重定义尺寸大小为1*3*48*48，其中，用于训练和测试的样本数据集有6类：0类为指示灯关闭的红绿灯图片，1类为箭头向左的红绿灯图片，2类为箭头向右的红绿灯图片，3类为箭头向前的红绿灯图片，4类为箭头方向为掉头的红绿灯图片，5类为指示灯为圆形的红绿灯图片；

隐藏层共有六层，分别为：

第一层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；

第二层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；

第三层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；

第四层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；

第五层：包括一个卷积层、一个归一化层和一个激活函数层；

第六层：包括一个卷积层、一个归一化层和一个激活函数层；

输出层为多分类分类器，输出六个类别：0表示背景，1表示向左箭头，2表示向右箭头，3表示向前箭头，4表示掉头箭头，5表示圆形指示灯；

所述S5步骤中分类指示灯颜色的自定义分类器的网络模型包括输入层、隐藏层和输出层，分别如下：

输入层输入样本数据集，并将输入的样本数据集中的图片重定义尺寸大小为1*3*48*48，其中，用于训练和测试的样本数据集有4类：0类为指示灯颜色是背景色的红绿灯图片，1类为指示灯颜色是红色的红绿灯图片，2类为指示灯颜色是黄色的红绿灯图片，3类为指示灯颜色是绿色的红绿灯图片；

隐藏层共有六层，分别为：

第一层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；

第二层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；

第三层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；

第四层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；

第五层：包括一个卷积层、一个归一化层和一个激活函数层；

第六层：包括一个卷积层、一个归一化层和一个激活函数层；

输出层为多分类分类器，输出4个类别：0表示背景，1表示红色，2表示黄色，3表示绿色。