[发明专利]便携式设备实现视频知识采集与标注功能的系统及方法

说明书

技术领域

本发明涉及计算机应用技术领域，特别涉及视频图像处理技术领域，具体是指一种基于便携式设备实现视频知识采集与标注功能的系统及方法。

背景技术

随着计算机技术和互联网的飞速发展，大量的视频设备已经能够通过互联网方便地在便携式设备上批量传输数字化的视频信息，便携式视频播放设备（iPad、iPod、iPhone、数码摄像机）的发展和推广，有利于用户能够方便地随时随地查找、分享和使用网络中的各类资源，例如视频电影、监控视频、视频会议和视频聊天等。

便携式设备对视频的大量检索以及共享，引出了关于如何应用便携式设备来采集、标注视频/图像资源等问题的研究。现今很多专家提出直接利用视频的内容信息进行机器识别、自动标注。这种机器识别和自动标注是借助于对视频中的视频帧/图像信息进行从底层到高层的处理，分析和理解的过程中进行标注的内容，以便于进行后续的视频检索。这些底层的标注内容是指视频的颜色、纹理、运动等特征向量。虽然这些内容可以更好的表达视频的信息，但是这种标注方式与后续的检索中对视频标注的需求相差太大。例如，一般网络用户进行视频或图像检索的目的是依赖于对视频的文本信息或元数据的描述来进行检索的，而不会去关注它的颜色、纹理、形状以及在此基础上形成的空间关系等方面，以图像的底层视觉和形象特征为主，对图像进行标注的处理方法具有计算简单、性能稳定的特点，但目前这些特征都有一定的局限性。

经过对现有技术的检索发现，中国专利文献号CN102508923，公开了一种“基于自动分类和关键字标注的自动视频注释方法”，该技术首先提取出已由人工标注视频的全局特征和局部特征，使用全局特征对视频的类别进行分类，再建立视频的多维特征和标注关键字之间的对应关系，再在已建立的训练集的基础上，自动处理未经标注的视频。

中国专利文献号CN101650728，公开了“视频高层特征检索系统及其实现”，该技术提取视频关键帧图像的底层特征（颜色、形状、纹理等），并利用支持向量机（Support Vector Machine，SVM）对所提取的特征进行分类，进而提取相应的视频语义。

上述研究在视频语义提取技术上提出了一些较好的方法，但是同样存在以下缺陷：

1、需要大量的人工标注视频集，才能形成一个精准、完备的样本训练集。

2、由于人工标注的视频内容，其主观性太强，不同的人对相同视频的特征、标注都不可能完全一样，很难形成统一的人工标注标准。

3、人工标注的视频内容，其扩充性太差，对于一个没有样本训练集中从未标注过的视频，还需要搜索原有的库，把与之相近特征的关键字提取出来，建立特征和关键词之间的联系，这才能完成对视频的注释。

发明内容

本发明的目的是克服了上述现有技术中的缺点，提供一种对该视频数据进行粗粒度的结构化描述的提取，再在粗粒度的结构化描述的基础上，设定视频帧的分割点和帧内分割区域块，然后在已设定的分割点和分割块中进行细粒度的标注，从而降低人工设备标注标准对视频标注的主观影响，提高视频标注的精确度，且便于视频标注训练集的自动扩充，同时，应用方式简便，实现成本低廉，应用范围也较为广泛的基于便携式设备实现视频知识采集与标注功能的系统及方法。

为了实现上述的目的，本发明的基于便携式设备实现视频知识采集与标注功能的系统具有如下构成：

该系统包括：资源输入模块、结构化描述模块、标注设备模块、双向切割模块和中心控制模块。其中，资源输入模块连接系统外部设备，用以从所连接的外部设备中获取视频文件和视频帧截取的图片文件；结构化描述模块用以提取所述的视频文件和视频帧截取的图片文件的结构化描述内容，产生结构化描述数据；标注设备模块为所述的便携式设备，用以根据所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行标注；双向切割模块根据所述的视频文件和视频帧截取的图片文件的标注设置多个不同的语义分割点或区域，将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域；中心控制模块连接所述的资源输入模块、结构化描述模块、标注设备模块和双向切割模块，用以向所述各模块发送任务指令，调度各模块的运行。

该基于便携式设备实现视频知识采集与标注功能的系统中，所述的结构化描述模块包括顺序连接的语义关系单元、时空分割单元、特征提取单元和对象识别单元，用以产生人和计算机系统可识别的关于视频和图像的多层次结构化描述信息。