[发明专利]用于机内循环、图像到视频计算机视觉引导的方法与装置

说明书

公开了用于在由设备、服务器和/或平台支持或配置有设备、服务器和/或平台的内容搜索、托管和/或提供系统中改进与计算机的交互和计算机之间的交互的系统和方法。所公开的系统和方法提供了一种新颖的机内循环、图像到视频引导框架，该框架利用建立在图像数据集和视频数据集上的训练集，以便高效地产生精确的训练集，以应用于视频帧。所公开的系统和方法减少了构建训练数据集所需的时间，并提供了将训练数据集应用于任何类型的内容和任何类型的识别任务的机制。

本申请包含受版权保护的材料。版权所有者不反对任何人对专利公开按照其在专利和商标局的文件或记录中那样进行传真复制，但在其他方面保留所有版权。

相关申请的交叉引用

本即时申请要求于2018年1月18日提交的第62/619,045号美国临时申请的优先权权益，其全文以引用方式并入本文中。

技术领域

本公开通常涉及通过修改能力来改进内容托管(hosting)及提供设备、系统和/或平台的性能以及通过用于训练和向视频应用计算机视觉引导(bootstrapping)模型的新颖且改进的框架来向这样的设备、系统和/或平台提供非本机功能。

背景技术

现代计算机视觉系统可应用于数字内容，以执行视觉识别任务，例如，包括面部识别、医学成像、自动驾驶的场景理解等。应用这种系统的主要瓶颈是需要大规模的注释数据集。这样的系统必须经过数百万个带注释的示例的训练，才能为给定的任务正常工作。如今，将计算机视觉训练和部署到产品中需要大量的工作来注释数据集(例如，无论是由人工还是机器进行)，从而降低此类系统的训练和实施准备的速度，并大大延迟上市时间。

在当今世界，视频理解是整个媒体行业最重要的研究和发展领域之一。不幸的是，与图像数据集相比，视频数据集非常难以注释，因为需要由贴标机检查的帧的数量太多。例如，为视频的每一帧绘制特定对象周围的边界框的任务需要大量的时间和精力以及计算机和网络资源的高利用率，并且不一定总是准确的。

因此，这促使之前的几项工作使用应急解决方案，即在图像数据集上训练视觉识别器，然后将其应用到视频域。然而，这在实践中并没有很好的表现，因为视频帧并没有表现出与图像相同的视觉特性。这是因为它们被捕获和编码的方式。当图像捕获静态对象时，视频捕获动态移动对象，并且当图像内的位置保持不变时，视频帧内/帧间对象的位置可以改变。此外，大多数视频编解码器应用压缩算法以使文件更小，这可能导致帧模糊，然而图像文件通常不受压缩。因此，为了应用这样的常规技术，必须为每个视频帧重新调整图像数据集上训练的视觉识别器，这进一步限制了构建和应用系统的速度和精度。

发明内容

所公开的系统和方法通过提供改进的处理框架来为现有的技术问题(特别是上述重点描述的技术问题)提供技术解决方案，所述处理框架减少了注释大规模视频数据集和从中训练视觉识别系统所需的时间和计算资源。通过本文所公开的高级训练和应用，实施这种视觉识别框架的系统可以提高在检测视频内容的方式方面的准确性，减少在这种训练期间对人力编辑的依赖，以及减少在训练和随后的(在应用经训练的系统时)检测/重新编码期间对计算资源的使用。例如，在训练系统的方式方面的效率可以有效地减少应用经训练的系统标识视频帧中哪些对象正在被识别所需的搜索迭代次数和CPU周期，也就是说，一个更准确和高效的经训练的系统可以产生更准确和有效的结果，从而提高产生令人满意的结果所需的计算和网络资源的效率。