[发明专利]识别交通灯信号的方法、装置、可读介质及电子设备

权利要求书

1.一种从图像中识别交通灯信号的方法，其特征在于，包括：

基于深度神经网络从所述图像提取与所述深度神经网络的不同层对应的多层第一特征图；从所述多层第一特征图中选择彼此具有不同尺度的至少两层第一特征图；

将所述至少两层第一特征图输入到卷积核与交通灯的形状匹配的卷积层，得到第二特征图；

从所述图像的R通道提取第一建议区域以及从所述图像的G通道提取第二建议区域；

基于所述第二特征图得到交通灯信号的检测结果；

其中，所述基于所述第二特征图得到交通灯信号的检测结果包括：

融合所述第二特征图、所述第一建议区域和所述第二建议区域从而得到融合特征；

基于所述融合特征得到交通灯信号的检测结果。

2.根据权利要求1所述的方法，其特征在于，所述深度神经网络为VGG网络，且从所述多层第一特征图中选择彼此具有不同尺度的至少两层第一特征图包括：

选择从所述VGG网络的第7、10、13层输出的特征图。

3.根据权利要求1所述的方法，所述基于所述融合特征得到交通灯信号的检测结果，其特征在于，通过全连接层和激活函数层从所述融合特征得到所述检测结果。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

利用位置置信度对所述检测结果进行过滤，所述位置置信度表示交通灯出现在所述图像中的横向位置或纵向位置的概率。

5.根据权利要求1所述的方法，其特征在于，

所述融合所述第二特征图、所述第一建议区域和所述第二建议区域从而得到融合特征包括：

对所述第二特征图进行池化操作从而得到统一尺寸的第三特征图；

将所述第一建议区域和所述第二建议区域映射到所述统一尺寸的第三特征图从而得到第一映射区域和第二映射区域；

对所述第一映射区域和所述第二映射区域进行池化操作从而得到统一尺寸的融合特征。

6.根据权利要求1所述的方法，其特征在于，在从所述图像的R通道提取第一建议区域以及从所述图像的G通道提取第二建议区域之后还包括：

确定所述第一建议区域和所述第二建议区域的位置置信度；

剔除所述位置置信度小于预定阈值的第一建议区域和第二建议区域。

7.根据权利要求1所述的方法，其特征在于，从所述图像的R通道提取第一建议区域以及从所述图像的G通道提取第二建议区域包括：

分别从所述图像的R通道和G通道的多层第一特征图中的任一层特征图利用RPN网络提取所述第一建议区域和所述第二建议区域。

8.根据权利要求1所述的方法，其特征在于，从所述图像的R通道提取第一建议区域以及从所述图像的G通道提取第二建议区域包括：

通过选择性搜索或形态学过滤从所述R通道和所述G通道分别获得所述第一建议区域和所述第二建议区域。

9.一种从图像中识别交通灯信号的装置，其特征在于，包括：

第一特征提取模块，配置为基于深度神经网络从所述图像提取与所述深度神经网络的不同层对应的多层第一特征图；

区域提取模块，配置为从所述图像的R通道提取第一建议区域以及从所述图像的G通道提取第二建议区域；

第二特征提取模块，配置为从所述多层第一特征图中选择彼此具有不同尺度的至少两层第一特征图，并将所述至少两层第一特征图输入到卷积核与交通灯的形状匹配的卷积层，得到第二特征图；

融合模块，配置融合所述第二特征图、所述第一建议区域和所述第二建议区域从而得到融合特征；

输出模块，配置为基于所述融合特征得到交通灯信号的检测结果。

10.一种计算机可读介质，其上存储有计算机程序，该计算机程序包括可执行指令，当该可执行指令被处理器执行时，实施如权利要求1至8中任一项所述的方法。

11.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为执行所述可执行指令以实施如权利要求1至8中任一项所述的方法。