[发明专利]用于利用知识图和机器学习进行道路标志基准真值构建的系统和方法

说明书

本公开涉及机器学习和道路标志识别。一种利用知识图进行道路标志分类的方法，包括跨多个帧检测和选择标志的表示，输出发起对与标志表示相关联的分类的请求的提示，对包括标志的一个或多个图像进行分类，查询知识图以获得具有至少一个与标志相同的属性的多个道路标志类，以及响应于超过阈值的置信水平，跨所述多个帧对标志进行分类。

技术领域

本公开涉及机器学习和道路标志识别。

背景技术

识别和理解道路标志是高级驾驶员辅助系统（ADAS）的重要特征，所述高级驾驶员辅助系统在现代车辆中经由诸如道路标志识别（RSR）或智能速度适配（ISA）之类的技术来提供。根据每个国家不同的指南，这些特征可能是强制性的。最近的RSR和ISA解决方案大量使用机器学习方法，并需要全面、高质量的道路标志注释数据集作为基准真值。为了准备好现实世界的使用，必须从世界各地的试驾中建立基准真值。要注释的道路标志图像的数量可能是巨大的，每年高达一千万以上，就像ADAS开发的情况一样。覆盖足够多国家和条件的这些图像的任何代表性样本都将具有相当大的规模。因此，优化注释任务并最小化注释者在每个会话中的时间是至关重要的。

跨多个国家的道路和交通标志非常不同。每个国家中的标志都遵循几项公约中的一项（例如，维也纳公约、SADC公约、SIECA公约和MUTCD公约），但具有变体。还没有通用的机器分类器可用。要为所有国家中的标志训练这样的通用分类器，首先应当有足够大的数据集，包括尽可能多的带注释的标志。对于人类注释者来说，即使是了解单个国家中的所有道路标志也是非常具有挑战性的。因此，陡峭的学习曲线和彻底的审阅过程是生成高质量注释所必需的。具有人机协作的注释方法解决了高效且可扩展的注释。

发明内容

根据一个实施例，一种系统包括知识图。该系统还包括控制器，该控制器被配置为检测和选择跨图像的一个或多个帧标识的道路标志，输出发起对道路标志分类的请求的提示，对包括道路标志的一个或多个图像进行分类，查询知识图以获得具有与下一个分类器的候选类相同的属性的多个道路标志类，并跨所述多个帧对道路标志进行分类。

根据第二实施例，公开了一种利用知识图的人类和机器协作的道路标志检测和分类的方法。该方法包括跨多个帧检测和选择标志的表示，输出发起对与标志表示相关联的分类的请求的提示，对一个或多个图像上的道路标志和视觉属性进行分类，查询知识图以获得与标志具有至少一个相同的属性的多个道路标志类，响应于来自模型的超过阈值的置信水平对标志进行分类，以及跨所述多个帧跟踪相同的标志。

根据第三实施例，公开了一种用于利用机器学习模型进行道路标志分类的系统。该系统包括被配置为输出用户接口的显示器和与显示器通信的处理器，处理器被编程为利用机器学习模型跨一个或多个图像检测和选择标志的表示，输出发起对与标志表示相关联的分类的请求的提示，对包括标志的一个或多个图像进行分类，获得与标志具有至少一个相同属性的多个道路标志类，以及响应于超过阈值的置信水平，跨所述一个或多个图像对标志进行分类。

附图说明

图1图示了用于捕获和注释图像数据的示例注释系统；

图2图示了道路标志本体的可视化；

图3图示了将RSO中道路标志的概念与其他词汇的利用对准的示例；

图4图示了根据本公开实施例的利用用户接口的众包任务的示例图像；

图5公开了机器学习训练和注释过程的道路标志工作流解决使用；

图6A图示了不同国家的全自动化道路标志注释；

图6B图示了不同国家的半自动化道路标志注释；

图6C图示了人类发起的半自动化标记系统；

图7图示了跨多个帧跟踪道路标志的示例；

图8A图示了与知识图相关联的用户接口的示例；

图8B图示了当道路标志被不恰当分类时的用户接口的示例；

图8C图示了当道路标志分类不正确并且在用户接口处接收到输入时与知识图相关联的用户接口的示例。