[发明专利]一种基于动作-状态联合学习的车辆尾灯状态识别方法

说明书

本发明提供一种基于动作‑状态联合学习的车辆尾灯状态识别方法，首先基于真实交通场景中得到的车辆跟踪序列获取连续的跟踪片段数据，采用基于注意力模型的CNN‑LSTM网络来识别各跟踪片段数据内隐含的5类尾灯动作特征：不变、踩刹车、松刹车、左转、右转；然后，基于尾灯语义分割获取各跟踪片段对应的高位刹车灯平均亮度特征，并与尾灯动作特征形成高阶特征；最后，构造线性链条件随机场模型，通过分析高阶特征建立连续片段之间的长期依赖，推断出各时刻连续的尾灯状态：无动作、制动、左转、右转；因此，本发明能够在不同的实际复杂交通场景中，准确提取出每一帧图像中不同类型、不同标准的车辆的尾灯隐含语义特征，得到尾灯在各时刻下的连续稳定状态。

技术领域

本发明属于自动控制技术领域，尤其涉及一种基于动作-状态联合学习的车辆尾灯状态识别方法。

背景技术

自动驾驶及相关研究在过去的几十年中取得了很大进展。在高动态高密度的城市交通场景中，自动驾驶汽车需要了解周围车辆的行为意图，以便进行更智能、更可靠的决策和规划。现有的方法大多基于车辆历史轨迹来预测意图。作为一个重要的因素，车辆的视觉信号，尤其是尾灯，是车辆意图的直接指示。因此，车辆尾部识别在车辆行为理解和轨迹预测中起着至关重要的作用。然而，在实际应用中，如不同的实际交通场景，包括白天、夜间、拥挤的道路和高速公路，尾灯状态的估计面临着许多挑战，这导致目前常见的自动驾驶系统很少有成熟的解决方案。主要的挑战包括：1)多变的光照条件：光晕、阴影和强烈的反射等成像噪声往往淹没了尾灯的特征，如图1(a)所示；2)不统一的尾灯标准：卡车、客车、轿车、SUV等的尾灯标准，包括形状、颜色、亮度等，都有很大的差异性，如图1(b)所示；3)随机的相对观测位姿：除了极少数的尾灯被正对着观测到外，车辆尾灯通常从左右两侧的不同角度被观测，这可能会导致尾灯遮挡和畸形，如图1(c)所示。

此外，尾灯识别是一个时间序列问题，它不仅与当前的特征状态有关，而且与连续状态之间的转换关系密切相关。例如示廓灯在颜色和形状上与刹车灯相似，并在白天和晚上显示不同的状态：白天示廓灯保持关闭；在夜晚，示廓灯保持明亮。在这种情况下，夜间不制动的尾灯可能比白天制动时的尾灯更亮(如图2所示)。因此，有必要分析尾灯在一段时间内的连续状态变化，以确定当前的行为，而不是仅仅根据形状和亮度等简单的特征。

发明内容

为解决上述问题，本发明提供一种基于动作-状态联合学习的车辆尾灯状态识别方法，即使在复杂的实际场景中也能得到尾灯的连续稳定状态。

一种基于动作-状态联合学习的车辆尾灯状态识别方法，包括以下步骤：

S1：基于真实交通场景中得到的车辆跟踪序列获取连续的跟踪片段数据；

S2：采用预训练的基于注意力模型的CNN-LSTM网络，分别提取各跟踪片段数据对应的尾灯动作特征其中，各跟踪片段数据对应的尾灯动作特征为不变、踩刹车、松刹车、左转或者右转；

S3：提取各跟踪片段数据对应的亮度特征并将尾灯动作特征与亮度特征组合成高阶特征其中， I_l,I_r,I_b,I_h,I_thr分别表示左尾灯平均亮度、右尾灯平均亮度、背景平均亮度、高位刹车灯平均亮度、用于从车辆尾部分割出高位刹车灯的自适应阈值；

S4：基于线性链条件随机场模型从各跟踪片段数据对应的高阶特征中获取每一时刻的尾灯状态，其中，尾灯状态包括无动作、制动、左转、右转，且无动作为无制动和无转向。

进一步地，所述车辆跟踪序列的获取方法为：

利用YOLO网络检测各车辆在每一帧图像中的位置，然后通过Deepsort架构匹配和更新目标车辆的包围框，得到各车辆的车辆跟踪序列，实现多车辆跟踪。

进一步地，所述跟踪片段数据的获取方法为：