[发明专利]视频大数据分级存储方法

权利要求书

1.一种视频大数据分级存储方法，其特征在于按以下步骤进行：

步骤一、从原始数据源读取视频数据，提取出有信息价值的短视频及相关信息描述，短视频作为原始数据存储到分布式文件系统，相关数据描述作为元数据存入数据库；

步骤二、分级存储系统从分布式文件系统读取原始数据文件，从短视频中提取一组图片，以高清图片组的形式存储在分布式文件系统，并删除短视频,生成新的原始数据文件，分级存储系统更新原始数据的状态信息到数据库；

步骤三、降低图片分辨率，提取普通图片，存储到分布式文件系统，并删除所述高清图片，分级存储系统更新原始数据的状态信息到数据库；

步骤四、删除所述普通图片，仅保留元数据。

2.如权利要求1所述的视频大数据分级存储方法，其特征是：

所述段视频指从原始视频中提取的一段视频，该视频起始时间为事件a发生的时间点Ta向前推移一定时间(Δt)，截时止间为事件发生的时间点Ta向后延迟一定时间(Δt)；

其中Ta为时间的发生时该时间段为整个原始视频的时间段间点，向前推移Δt，得到T1，向后延迟Δt，得到T2，T1到T2便是短视频的时间段。

3.如权利要求1或2所述的视频大数据分级存储方法，其特征是：所述分级存储系统由三个子模块：HSSchedule模块、HSBroker模块和和HSUpdate模块组成：

所述HSSchedule模块用于：分级存储任务生成服务，从数据库中读取并分析元数据，生成原始数据处理任务，发布到kafka集群；

所述Kafka集群：Apache开源消息队列，用于消息分发，用于任务处理负载均衡；HSSchedule将原始数据处理任务发布到kafka集群，HSBroker从kafka集群订阅任务；

所述HSBroker模块用于：从kafka集群获取任务，从分布式文件系统下载原始数据，使用ffmpeg框架对原始数据进行转码，任务处理完成之后，生成原始数据状态更新消息，发布到kafka；

所述HSUpdate模块用于：从kafka集群下载原始数据状态更新任务，将状态更新到元数据数据库。