[发明专利]用于机内循环、图像到视频计算机视觉引导的方法与装置

权利要求书

1.一种方法，包括以下步骤：

在计算设备处接收包括搜索项的搜索查询；

通过所述计算设备搜索图像的集合，并且基于所述搜索来标识图像集，所述图像集包括描绘所述搜索项的内容；

通过所述计算设备搜索视频的集合，并且基于所述搜索来标识视频集，所述视频集中的每个视频包括至少一个视频帧，所述至少一个视频帧包括描绘所述搜索项的内容；

通过所述计算设备，在所述图像集和所述视频集上执行对象检测软件，所述执行包括：分析所述图像集并标识与所述图像集中的每个图像内的描绘所述搜索项的所述内容相关的信息，并且基于所述分析，基于来自所述图像集的所标识的信息，对所述视频集中的视频帧执行视觉对象检测；

通过所述计算设备基于所述视觉对象检测生成带注释的视频帧集，所述生成包括用指示对所述搜索项的描绘被描绘在其中的信息来注释所述视频集中的视频的包括描绘所述搜索项的所述内容的视频帧；以及

通过所述计算设备，用所述生成的带注释的视频帧集来训练视觉识别器软件。

2.根据权利要求1所述的方法，还包括：

搜索所述视频的集合，并且基于所述搜索，标识视频的第二视频集，所述第二视频集中的每个视频包括至少一个视频帧，所述至少一个视频帧包括描绘所述搜索项的内容；

在所述第二视频集和所述带注释的视频帧集上执行所述对象检测软件，所述执行包括基于所述带注释的视频帧集中的带注释的信息对所述第二视频集中的视频帧执行视觉对象检测；

基于所述视觉对象检测生成第二带注释的视频帧集，所述生成包括用指示对所述搜索项的描绘被描绘在其中的信息来注释所述第二视频集中的视频的包括描绘所述搜索项的所述内容的视频帧集；以及

将所述第二带注释的视频帧集添加到包括所述带注释的视频帧的训练数据集。

3.根据权利要求2所述的方法，还包括基于将所述第二带注释的视频帧集添加到所述训练数据集来训练所述视觉识别器软件。

4.根据权利要求1所述的方法，还包括：

使视频文件在用户的设备上通过网络被呈现；

分析在用户设备上呈现的所述视频文件，所述分析包括标识当前正在呈现的视频的帧集；

将经训练的视觉识别器软件应用于所述所标识的帧集；以及

基于所述经训练的视觉识别器软件的所述应用，标识在所述帧集内描绘的与所述搜索项对应的对象。

5.根据权利要求4所述的方法，还包括：

通过网络搜索与所述对象相关联的内容；

基于所述搜索标识所述内容；以及

当所述对象被显示在所述视频内时，传送用于显示的所述内容，用于显示的所述内容包括增强对所述视频内的所述对象的描绘的信息。

6.根据权利要求1所述的方法，还包括：

对在所述视频集中标识的每个视频进行采样，并且基于所述采样，针对所述视频集中的每个视频标识帧集。

7.根据权利要求6所述的方法，其中，所述采样包括在所述视频集中的所述视频上应用神经网络区域建议软件。

8.根据权利要求1所述的方法，还包括：

确定每个带注释的视频帧的置信值，所述置信值指示所述对象在每个视频帧中的质量。

9.根据权利要求8所述的方法，其中，所述带注释的视频帧在所述帧的所述置信值满足阈值时被自动添加到训练数据集。

10.根据权利要求8所述的方法，其中，当所述置信值不满足阈值时，由编辑器对所述带注释的视频帧进行验证，其中，所述带注释的视频帧在所述验证后被添加到训练数据集。

11.根据权利要求1所述的方法，还包括：

在通过从所述图像进行搜索来标识所述图像集之后，下载并存储所述图像集；以及

在从所述视频搜索标识所述视频集之后，下载并存储所述视频集。