[发明专利]基于信息散度的视频大数据冗余删除方法

说明书

本发明公开了一种基于信息散度的视频大数据冗余删除方法，目的是提出一种冗余视频数据删除方法，节省存储容量，减少视频大数据计算分析时间，提高视频大数据维护管理的效率。技术方案是先将视频大数据用视频大数据集V来表示，对V进行归一化，然后定义面向视频图像帧矢量的K‑L散度和信息量分布矩阵M_L，确认各视频图像帧矢量对V的信息量贡献，删除V中的信息量贡献最小的冗余视频图像帧。采用本发明能缓解视频数据的存储压力，提高视频数据存储效率，加快视频大数据计算分析速率，提升整个大数据视频应用系统的运营效率。

技术领域

本发明涉及冗余删除方法，尤其涉及信息领域视频大数据冗余的删除方法。

背景技术

随着社会信息化不断推进，信息存储应用领域越来越广泛，在过去的5年内全球数字化信息量增长迅速，已从之前的TB级上升到PB级，甚至EB级。随着大数据时代的来临，数据增长将是大型企业部署lT设施的最大挑战，随着数据规模和数据体积的持续增大，一方面需要投入巨额资金购置存储容量，另一方面数据的计算分析运营成本也将显著增加。

研究表明，在备份和归档存储等应用系统所保存的数据中，高达80％～90％的数据是冗余的，而随着时间推移，冗余数据的比例也将继续上升。因此，存储系统中数据高冗余问题受到越来越多研究人员的关注，如何缩减存储系统数据存储容量已成为一个热门的研究课题，而重复数据冗余删除技术是其中一种容量优化技术，它通过消除存储系统中冗余的数据，缩减系统中实际存储的数据或通过网络传输的数据，在备份、长期归档和数据灾难恢复等方面已得到了广泛的应用。在工业界，DataDomain DDFs，IBM Diligent，EMC的Avarma，Veritas的PureDisk以及CommVault的Shpana是比较知名的冗余数据删除产品，这些产品通常可以达到20：1的冗余数据删除率；同时，学术界也进行了深入研究，包括美国的MIT、OSU、UC和Stanford等大学，德国Paderbom大学，英国剑桥大学，以及中国的CUHK、清华大学、国防科技大学以及华中科技大学等高校。

冗余数据删除是基于数据自身的冗余度来检测数据流中的相同数据对象，只传输和存储唯一的数据对象副本，并使用指向唯一数据对象副本的引用或关联来替换其他冗余。相比于传统的数据压缩技术，冗余数据删除技术不仅可以消除文件内的数据重复，还能消除共享数据集内文件之间的数据重复。根据实施冗余数据删除操作位置的不同，分为源和目标端冗余数据删除；根据实施冗余数据删除操作时机的不同，分为离线、近线和在线删除；根据实施冗余数据删除操作粒度的不同，分为文件级和块级删除；根据冗余数据删除所服务数据实体的存储与访问方式的不同，分为主存储和从存储删除。

无论是源和目标端冗余数据删除、离线、近线和在线删除、文件级和块级删除，还是主存储和从存储删除，冗余数据删除的对象几乎都是重复数据删除，对于非简单重复而有关联关系的冗余数据即一个数据对象可以由其它数据对象来表示的冗余数据，上述各种数据删除技术就无能为力了。

大数据时代，视频数据量庞大，种类繁多，结构复杂，很多统计问题中将信息量作为统计的基本度量，如非线性统计问题，数据挖掘问题，投影寻踪问题等，在这些涉及到随机分布之间差异的问题中提出了大量的度量准则，一般称之为信息散度，即使用基于概率分布Q的编码来编码来自概率分布P的样本所需要的额外的比特数，是一种描述两个概率分布差异的一种方法。最早的信息散度是Kullback和Leibler提出的相对熵，也称K-L距离或K-L散度，是一种用来描述两信息量差异的方法。随着大数据时代的兴起，具有关联关系的视频数据冗余现象将越来越突出，面向视频大数据的冗余数据删除变得更加紧迫和重要。

如何基于K-L散度，解决面向视频大数据的冗余数据删除难题是本领域技术人员关注的重要技术问题。

发明内容

本发明要解决的技术问题在于：针对非简单重复而有关联关系的冗余视频数据，提出一种基于信息散度的视频大数据冗余删除方法，节省存储容量，减少视频大数据计算分析时间，提高视频大数据维护管理的效率。