[发明专利]一种基于多模态知识推理的公交主动安全预警方法

说明书

本发明提供一种基于多模态知识推理的公交主动安全预警方法，该方法首先对公交车前置摄像头拍摄的视频提取关键帧；然后基于关键帧构建场景图谱，用于描述公交车所处场景细粒度信息；场景图谱是一种图形式的数据结构，其节点对应图像中的实体对象，描述了这些对象的相关属性，譬如“红灯状态的红绿灯”、“奔跑的行人”、“邻车”、“交通标志牌”等；边则描述了对象间的关系，譬如实体对象“小孩”和“足球”间存在的关系“踢”；以图谱池化的方式，抽取场景图谱的层级化信息，并最终输出一个表征场景图谱整体语义的分布式编码表示；最后，将场景图谱分布式编码表示与传感器模态数据融合，并基于融合结果判断是否需要向公交驾驶员发出安全预警。

技术领域

本发明涉及智能交通领域，更具体地，涉及一种基于多模态知识推理的公交主动安全预警方法。

背景技术

公交作为人们日常出行的主要交通工具，在发生交通事故时往往会严重威胁乘客生命安全。目前，随着城市化的发展和汽车的普及，城市交通已呈现出路况复杂，车辆多，行人密集的特点，交通事故发生率持续升高，公交运输安全形势日益严峻。公交主动安全预警系统用于实时监测公交行驶情况，及时向驾驶员发出安全预警，确保行车安全，降低交通事故发生率。针对该领域，已有许多方法被提出。根据输入数据的模态不同，主流的公交主动安全预警方法可分为两类，第一类方法以各类传感器结构化数据作为输入，通过预先设定的公式衡量当前行车安全性；第二类方法以公交前置摄像头拍摄的视频作为输入，通过图像处理技术获取邻车、行人与公交的相对距离和相对速度，基于这些信息判断是否需要发出安全预警。这些方法仅依靠单模态信息判断是否需要向驾驶员发出预警，存在判断依据不充分，预警可靠性不高的缺陷，当应用于实际场景中，无法向驾驶员提供高可靠的预警服务。具体来说，基于传感器的预警方法无法识别红绿灯、交通标志牌等有助于主动安全预警判断的视觉信息。譬如，对于场景“公交车正要穿过设有红绿灯的路口，前方无车，路边街道上有行人”，若当前为红灯，这类方法根据传感器传输的信息仅能判断前方无车，却无法识别红绿灯状态，因此将不会向公交驾驶员发出预警；基于视频图像的预警方法受拍摄图像质量的约束大，当遇到大雾大雨等恶劣天气，这类方法稳定性不强，无法满足高可靠的公交安全预警场景的业务需求。此外，基于视频图像的预警方法缺乏对公交所处场景视觉细粒度信息的认知与理解。譬如，在上述示例场景中，若当前为绿灯，且路边的行人中有小孩正在踢足球，这类方法仅能检测出行人，而无法认知与理解“小孩正在踢足球”这一信息，因此无法预见小孩突然冲出人行道的可能性，将不会向公交驾驶员发出预警。

在学术领域目前主流的方法可以归纳为两类。第一类方法通过处理雷达传感器数据获取行人和邻车的轮廓、距离和速度信息，并结合自车的GPS传感器和车速传感器数据衡量公交当前行车安全性。然而，传感器设备不足以对公交所处场景细粒度信息进行分析和建模，譬如红绿灯状态，交通标志牌内容，行人的状态，邻车的状态等；第二类方法以公交前置摄像头拍摄的视频作为输入，通过对象检测算法定位邻车和行人的所在区域，建模成像平面坐标系与现实世界坐标系间的转换关系，并在此基础上计算行人、邻车与公交的相对距离和相对速度，进而判断是否需要向驾驶员发出预警。然而，这类方法受拍摄图像质量的约束大，当遇到大雾大雨等恶劣天气，预警精度将会受到严重影响，无法满足高可靠的公交安全预警场景的业务需求。此外，这类方法仅从视频图像中提取了有限的视觉内容，并没有挖掘图像中的细粒度信息，这导致预警依据不充分，往往会错误地发出预警干扰驾驶员或是在需提醒驾驶员的时候不发出预警。

现有的工作主要聚焦基于传感器的主动安全预警方法，即在公交车上安装确定数量、确定种类的传感器，收集这些结构化数据，并通过固定的公式计算行车安全性。但由于缺乏对所处场景细粒度信息的感知能力，这些方法没有表现出优异的主动安全预警性能。上述各类方法仅使用单模态信息判断是否需要向驾驶员发出预警，存在预警依据少，预警稳定性不足的缺点，无法满足高可靠的公交安全预警场景的业务需求。

发明内容

本发明提供一种基于多模态知识推理的公交主动安全预警方法，该方法将场景图谱分布式编码表示与传感器模态数据融合，并基于融合结果判断是否需要向公交驾驶员发出安全预警。