[发明专利]从配备摄像头的车辆上的窄光谱带数据生成人工彩色图像

说明书

一种视觉感知系统，其包括扫描摄像头、具有色彩滤波阵列（CFA）的颜色传感器和分类器节点。摄像头捕捉目标物体、例如交通信号灯的全色像素图像，并通过窄带通滤波器（BPF）处理该像素图像，使得窄BPF输出目标物体的单色图像。颜色传感器和CFA接收单色图像。颜色传感器具有至少三个颜色通道，每个颜色通道对应于单色图像中光谱数据的不同颜色。分类器节点使用预定分类决策树将单色图像的组成像素分类到不同的颜色仓中，作为对应的感兴趣颜色。感兴趣颜色可用于实行控制动作，例如，经由自动驾驶员辅助系统（ADAS）控制单元或指示器装置来实行。

技术领域

本发明涉及一种视觉感知系统、一种包含视觉感知系统的机动车辆以及一种用于机动车辆上的方法。

背景技术

自动驾驶车辆（AV）上常用的感知摄像头系统能够通过大量识别参数来识别感兴趣物体，包括但不限于物体的几何形状、颜色和内容。此种摄像头系统通常使用RGB（红、绿、蓝）检测器/传感器来捕捉成像场景的全色域。窄光谱带成像系统特别地输出场景可用色谱的较窄部分。所得到的单色像素图像因此使此类成像系统在某些AV应用中的使用复杂化，该应用中需要准确识别成像场景中的物体颜色。然而，窄光谱带成像摄像头系统提供了优于传统摄像头的性能优势，包括增强的扫描能力和在更大视野范围内输出更高分辨率图像的能力。

液晶偏振光栅（LCPG）器件是产生上述单色像素图像的窄带通成像系统的示例类型。LCPG器件中的衍射光栅在光谱带通中具有狭窄区域，其中衍射效率和整体透射率维持在相对较高的值，通常大于70%。此外，由于衍射光栅常见的色散，宽带通会产生大的色散效应，因此会产生不期望的色散效应，从而导致图像模糊，这将严重限制此种器件在某些AV应用中的实用性。因此，在本文所设想的类型的扫描摄像头应用中，非常希望使用窄光谱带通滤波器。

发明内容

本文公开了用于例如在机动车辆上从上述窄光谱带数据人工生成彩色图像的摄像头系统和相关方法。一般而言，摄像头系统包括扫描摄像头，其可操作用于收集潜在无限颜色变化的全色场景。收集到的光然后通过窄带通滤波器（BPF），之后由颜色传感器对产生的光进行采样。该采样过程有效地将颜色信息分离到三个不同的颜色仓中。由于窄BPF，生成的图像主要是单色的。然后，在首先调整其参数以人工为成像场景中的物体（例如交通灯、警示灯或类似的危险警告）着色之后，基于单色像素图像对所需颜色进行分类。为了获得最佳性能，本文描述的方法应与在准单色输入上运行的传感器结合使用，该传感器的功能是检测和定位作为要着色的感兴趣物体的交通灯、警告标志等。准单色图像可以通过将空间支持非常有限的学习滤波器（例如，3 x 3或5 x 5）应用于原始数据来生成。

作为本方法的一部分，此处使用的窄BPF位于颜色传感器中常用的两个光谱滤波器之间的交叉处。随后，从具有两个交替颜色增益设置的一次曝光开始，使用不同持续时间的多次曝光，或使用另一个适用于多级决策树的应用，在典型的三色交通灯情景中，任何像素可以以三种预定义的感兴趣颜色之一呈现，例如红色、黄色和绿色。通过如下所述的一些修改，本解决方案可以扩展到一种或多种附加颜色，诸如在以橙色或琥珀色作为附加颜色的四色交通灯情景中。

本公开的方面包括具有扫描摄像头、颜色传感器和分类器节点的视觉感知系统。扫描摄像头被构型成捕获目标物体的全色像素图像，并通过窄BPF对全色像素图像进行处理，使得窄BPF输出目标物体的单色像素图像。颜色传感器和伴随的色彩滤波阵列（CFA）与窄BPF通信，并被构型成从其接收单色像素图像。颜色传感器具有至少三个颜色通道，每个颜色通道对应于单色像素图像中光谱数据的不同颜色。分类器使用预定的分类决策树将单色像素图像的组成像素分类到多个颜色仓之一中以作为对应的感兴趣颜色。

在一些实施例中，图像处理节点用相应的感兴趣颜色对单色像素图像的组成像素进行人工着色，从而生成彩色图像。

分类器节点可以被构型成确定每个RGB颜色通道的每个像素的归一化数字数值，并且通过将归一化数字数值与缩放信噪比进行比较，将单色像素图像的每个组成像素分类为至少三种感兴趣颜色中的一种。