[发明专利]视频大数据分级存储方法

说明书

技术领域

本发明属于数据存储领域，特别是涉及一种视频大数据分级存储方法。

背景技术

监控视频的传统存储方式将原始视频数据1乘24小时全部存储下来，等存储周期结束后，再将视频数据删除，释放存储空间，用以存储新的视频数据。该种存储方式有着明显的缺点：

1监控视频属于低密度信息载体，大部分视频是没有信息价值的，全部存储必然造成存储空间的浪费。

2采用循环覆盖的存储方式，如果存储周期过短，则造成视频数据的过早丢失，是对信息资源一种浪费；如果存储周期设置过长，则引入巨大的存储成本。

3检索效率低，从大量视频中查找所需的视频比较困难.

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种提高检索效率降低存储成本的视频大数据分级存储方法。

为实现上述目的，本发明提供了一种视频大数据分级存储方法，按以下步骤进行：

步骤一、从原始数据源读取视频数据，提取出有信息价值的短视频及相关信息描述，短视频作为原始数据存储到分布式文件系统，相关数据描述作为元数据存入数据库；

步骤二、分级存储系统从分布式文件系统读取原始数据文件，从短视频中提取一组图片，以高清图片组的形式存储在分布式文件系统，并删除短视频,生成新的原始数据文件，分级存储系统更新原始数据的状态信息到数据库；

步骤三、降低图片分辨率，提取普通图片，存储到分布式文件系统，并删除所述高清图片，分级存储系统更新原始数据的状态信息到数据库；

步骤四、删除所述普通图片，仅保留元数据。

较佳的，所述段视频指从原始视频中提取的一段视频，该视频起始时间为事件a发生的时间点Ta向前推移一定时间(Δt)，截时止间为事件发生的时间点Ta向后延迟一定时间(Δt)；

其中Ta为时间的发生时该时间段为整个原始视频的时间段间点，向前推移Δt，得到T1，向后延迟Δt，得到T2，T1到T2便是短视频的时间段。

较佳的，所述分级存储系统由三个子模块：HSSchedule模块、HSBroker模块和和HSUpdate模块组成：

所述HSSchedule模块用于：分级存储任务生成服务，从数据库中读取并分析元数据，生成原始数据处理任务，发布到kafka集群；

所述Kafka集群：Apache开源消息队列，用于消息分发，用于任务处理负载均衡；HSSchedule将原始数据处理任务发布到kafka集群，HSBroker从kafka集群订阅任务；

所述HSBroker模块用于：从kafka集群获取任务，从分布式文件系统下载原始数据，使用ffmpeg框架对原始数据进行转码，任务处理完成之后，生成原始数据状态更新消息，发布到kafka；

所述HSUpdate模块用于：从kafka集群下载原始数据状态更新任务，将状态更新到元数据数据库。

本发明的有益效果是：本发明能够以元数据作为检索索引，不仅提高了查询效率，而且可以创建各种数据挖掘应用，同时本发明去除了无信息价值的视频，提高信息密度，降低了存储成本，采用本发明提出的方案，可使视频体积减小，可以利用多余存储空间，延长有效视频数据的存储周期。

附图说明

图1是本发明一具体实施方式的流程示意图。

图2是本发明一种短视频截取方式示意图。

图3是本发明另一种短视频截取方式示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明：

视频数据分级存储，就是将视频数据按一定周期划分为若干存储阶段，不同的阶段存储不同的数据内容，旨在节约存储成本，提高信息检索效率。本方案将视频的存储划分了5个阶段：完整原始视频，短视频+元数据，高清图片+元数据，低清图片+元数据，元数据。