[发明专利]一种周期性视频数据的扩展方法及装置

说明书

本申请实施例提供一种周期性视频数据的扩展方法及装置，方法包括：首先获取周期性视频数据中处于一设定时间区间内的多帧图像，所述多帧图像基于每个图像的时序信息形成一初始图像帧实例；接着分别以所述初始图像帧实例的每一帧图像作为一滑动采集窗口的起始帧，滑动采集得到多组图像帧实例，所述滑动采集窗口的长度为N个周期，N为正整数，并且所述滑动采集窗口的长度小于所述设定时间区间的长度。本发明可以快速地扩展出多数量且高质量的周期性视频数据，用于机器学习模型的训练。

技术领域

本申请涉及计算机技术领域，具体涉及周期性视频数据的扩展方法及装置。

背景技术

AI算法已经渗入到了我们生活的方方面面，无论是购物推荐，广告推送，搜索引擎还是多媒体影音娱乐，都有AI算法的影子。作为多媒体中重要的信息载体，视频的地位可以说是数一数二的，然而目前对于AI算法在视频上的应用还不够成熟，理解视频内容仍然是一个重要的问题亟待解决攻克。

利用视频数据的最终目标是让算法理解视频。理解视频(understanding thevideo)是一件非常抽象的事情，在神经科学尚没有完全清晰的现在，如果按照人类感知去理解这个词，我们终将陷入泥淖。我们得具体点，在理解视频这个任务中，我们到底在做什么？首先，我们要知道对比于文本，图片和音频，视频有什么特点。视频它是动态的按照时间排序的图片实例，然而图片帧间有着密切的联系，存在上下文联系；视频它有音频信息。因此进行视频理解，我们势必需要进行时间实例上的建模，同时还需要空间上的关系组织。

相比图像，视频多了一维时序信息。如何利用好视频中的时序信息是研究这类方法的关键。

而在计算机视觉领域，高质量的数据、高效的算法和强大的算力，被称为其的三大支柱。而数据是三者中最基础的，缺乏高质量的数据，再优秀的算法和再强大的算力都是徒劳。人们在建立大规模数据方面，尤其是视频数据投入了大量人力物力，比如谷歌、deepmind等。

发明内容

针对现有技术中的问题，本申请提供一种周期性视频数据的扩展方法及装置，首先获取周期性视频数据中处于一设定时间区间内的多帧图像，所述多帧图像基于每个图像的时序信息形成一初始图像帧实例；接着分别以所述初始图像帧实例的每一帧图像作为一滑动采集窗口的起始帧，滑动采集得到多组图像帧实例，所述滑动采集窗口的长度为N个周期，N为正整数，并且所述滑动采集窗口的长度小于所述设定时间区间的长度。本发明可以快速地扩展出多数量且高质量的周期性视频数据，用于机器学习模型的训练。

本发明的一方面，提供一种周期性视频数据的扩展方法，包括：

获取周期性视频数据中处于一设定时间区间内的多帧图像；所述多帧图像基于每个图像的时序信息形成一初始图像帧实例；

分别以所述初始图像帧实例的每一帧图像作为一滑动采集窗口的起始帧，滑动采集得到多组图像帧实例，所述滑动采集窗口的长度为N个周期，N为正整数，并且所述滑动采集窗口的长度小于所述设定时间区间的长度；

其中，若所述设定时间区间的长度为一个周期，则在滑动采集得到多组图像帧实例之前，所述训练集的生成步骤：

在所述滑动采集窗口的起始帧为所述初始图像帧实例的第二帧开始，在所述初始图像帧实例尾部补充当前起始帧之前的每一帧图像形成更新的初始图像帧实例。

在优选的实施例中，所述获取周期性视频数据中处于一设定时间区间内的多帧图像，包括：从所述设定时间区间内的所有帧图像中以相等的时间间隔抽取所述多帧图像。

在优选的实施例中，还包括：

所述图像帧实例的标注信息与初始图像帧实例的标注信息一致。

本发明的又一方面，提供一种周期性视频数据的扩展装置，包括：