[发明专利]用于执行交叉口情景检索的系统及其方法

说明书

本发明提供了一种用于执行交叉口情景检索的系统和方法，该系统和方法包括接收自我意识车辆的周围环境的视频流。该系统和方法还包括分析视频流，以将视频流裁剪成与自我意识车辆的行进相关联的交叉口场景的视频剪辑。该系统和方法还包括使用描述交叉口情景的动作单元来注释包括在交叉口场景内的自我意识车辆、动态对象以及它们的运动路径。该系统和方法还包括基于对存储动作单元的组合的电子数据集的查询来检索至少一个交叉口情景，以可操作地控制包括至少一个交叉口情景的至少一个交叉口情景视频剪辑的呈现。

相关申请的交叉引用

本专利申请要求2020年2月27日提交的美国临时专利申请序列号62/982,230的优先权，该临时专利申请明确地以引用方式并入本文。

背景技术

在计算机图像分析中，常见任务是在所捕获的视频中将对象及其运动进行分类和标记。大多数现有系统采用一组有限的对象标签，这些对象标签从训练数据离线学习。这是低效且数据密集的。

发明内容

根据一个方面，提供了一种用于执行交叉口情景检索的计算机实现的方法，该计算机实现的方法包括接收自我意识车辆的周围环境的视频流。该计算机实现的方法还包括分析视频流，以将视频流裁剪成与自我意识车辆的行进相关联的交叉口场景的视频剪辑。该计算机实现的方法还包括使用描述交叉口情景的动作单元来注释包括在交叉口场景内的自我意识车辆、动态对象以及它们的运动路径。动作单元包括描述自我意识车辆和动态对象的动作单元名词，以及描述自我意识车辆和动态对象在交叉口场景内的相应运动路径的动作单元动词。该计算机实现的方法还包括基于对存储动作单元的组合的电子数据集的查询来检索至少一个交叉口情景，以可操作地控制包括至少一个交叉口情景的至少一个交叉口情景视频剪辑的呈现。

根据另一方面，提供了一种用于执行交叉口情景检索的系统，该系统包括存储指令的存储器，该指令在由处理器执行时，使得处理器接收自我意识车辆的周围环境的视频流。指令还使得处理器分析视频流，以将视频流裁剪成与自我意识车辆的行进相关联的交叉口场景的视频剪辑。指令还使得处理器使用描述交叉口情景的动作单元来注释包括在交叉口场景内的自我意识车辆、动态对象以及它们的运动路径。动作单元包括描述自我意识车辆和动态对象的动作单元名词，以及描述自我意识车辆和动态对象在交叉口场景内的相应运动路径的动作单元动词。指令还使得处理器基于对存储动作单元的组合的电子数据集的查询来检索至少一个交叉口情景，以可操作地控制包括至少一个交叉口情景的至少一个交叉口情景视频剪辑的呈现。

根据又一方面，提供了一种存储指令的非暂态计算机可读存储介质，该指令在由包括处理器的计算机执行时进行一种方法，该方法包括接收自我意识车辆的周围环境的视频流。该方法还包括分析视频流，以将视频流裁剪成与自我意识车辆的行进相关联的交叉口场景的视频剪辑。该方法还包括使用描述交叉口情景的动作单元来注释包括在交叉口场景内的自我意识车辆、动态对象以及它们的运动路径。动作单元包括描述自我意识车辆和动态对象的动作单元名词，以及描述自我意识车辆和动态对象在交叉口场景内的相应运动路径的动作单元动词。该方法还包括基于对存储动作单元的组合的电子数据集的查询来检索至少一个交叉口情景，以可操作地控制包括至少一个交叉口情景的至少一个交叉口情景视频剪辑的呈现。

附图说明

被认为是本公开的特性的新颖特征在所附权利要求中提出。在下面的描述中，在整个说明书和附图中，相似的部分分别用相同的数字标记。为了清楚和简洁起见，附图未必按比例绘制，并且某些附图可以以夸大或概括的形式示出。然而，当结合附图阅读时，通过参照说明性实施方案的以下详细说明，将最好地理解本公开本身及其优选的使用方式、其进一步的目的和进步，其中：

图1是根据本公开的示例性实施方案的用于执行交叉口情景检索的示例性系统的示意图；

图2是根据本公开的示例性实施方案的交叉口情景应用程序的操作的一般框架；

图3A是根据本公开的示例性实施方案的交叉口场景的例示性示例，该交叉口场景可包括在由视频流裁剪的视频剪辑内；