[发明专利]识别交通灯信号的方法、装置、可读介质及电子设备

说明书

本申请涉及从图像中识别交通灯信号的方法、装置、计算机可读介质及电子设备。一种从图像中识别交通灯信号的方法包括：基于深度神经网络从所述图像提取与所述深度神经网络的不同层对应的多层第一特征图；从所述多层第一特征图中选择彼此具有不同尺度的至少两层第一特征图；将所述至少两层第一特征图输入到卷积核与交通灯的形状匹配的卷积层，得到第二特征图；基于所述第二特征图得到交通灯信号的检测结果。根据本申请的技术方案能够提高交通灯信号的检测准确性。

技术领域

本申请涉及计算机及图像处理领域，具体而言，涉及从图像中识别交通灯信号的方法、装置、计算机可读介质及电子设备。

背景技术

随着科学技术的发展，为了节省人力和进一步解放人力，自动驾驶及辅助驾驶技术得到越来越多的关注和开发。

在自动驾驶或辅助驾驶领域，交通灯信号的检测是一个基本而重要的功能，关乎到人员安全。但是，由于交通灯本身具有目标小、背景复杂等特点，交通灯的检测一直是业界的难点。

发明内容

本申请公开一种从图像中识别交通灯信号的方法、装置、计算机可读介质及电子设备，通过改进的深度学习方法，能够提高检测准确性。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本发明的一个方面，提供一种从图像中识别交通灯信号的方法，包括：

基于深度神经网络从所述图像提取与所述深度神经网络的不同层对应的多层第一特征图；从所述多层第一特征图中选择彼此具有不同尺度的至少两层第一特征图；所述至少两层第一特征图输入到卷积核与交通灯的形状匹配的卷积层，得到第二特征图；基于所述第二特征图得到交通灯信号的检测结果。

根据一些实施例，所述深度神经网络为VGG网络。

根据一些实施例，从所述多层第一特征图中选择彼此具有不同尺度的至少两层第一特征图包括：选择从所述VGG网络的第7、10、13层输出的特征图。

根据一些实施例，基于所述第二特征图得到交通灯信号的检测结果包括：对所述第二特征图进行池化操作得到统一尺寸的融合特征；通过全连接层和激活函数层从所述融合特征得到所述检测结果。

根据一些实施例，前述方法还包括：利用位置置信度对所述检测结果进行过滤，所述位置置信度表示交通灯出现在所述图像中的横向位置或纵向位置的概率。

根据一些实施例，前述方法还包括：从所述图像的R通道提取第一建议区域以及从所述图像的G通道提取第二建议区域，其中，所述基于所述第二特征图得到交通灯信号的检测结果包括：融合所述第二特征图、所述第一建议区域和所述第二建议区域从而得到融合特征；基于所述融合特征得到交通灯信号的检测结果。

根据一些实施例，所述融合所述第二特征图、所述第一建议区域和所述第二建议区域从而得到融合特征包括：对所述第二特征图进行池化操作从而得到统一尺寸的第三特征图；将所述第一建议区域和所述第二建议区域映射到所述统一尺寸的第三特征图从而得到第一映射区域和第二映射区域；对所述第一映射区域和所述第二映射区域进行池化操作从而得到统一尺寸的融合特征。

根据一些实施例，基于所述融合特征得到交通灯信号的检测结果包括：通过全连接层和激活函数层从所述融合特征得到所述检测结果。

根据一些实施例，在从所述图像的R通道提取第一建议区域以及从所述图像的G通道提取第二建议区域之后还包括：确定所述第一建议区域和所述第二建议区域的位置置信度；剔除所述位置置信度小于预定阈值的第一建议区域和第二建议区域。

根据一些实施例，从所述图像的R通道提取第一建议区域以及从所述图像的G通道提取第二建议区域包括：分别从所述图像的R通道和G通道的多层第一特征图中的任一层特征图利用RPN网络提取所述第一建议区域和所述第二建议区域。