[发明专利]一种基于主动学习的分布式自优化视频实时解析框架

说明书

本发明提出了一种基于主动学习的分布式自优化视频实时解析框架，Storm框架对分布式存储的视频数据进行并行训练，并将深度学习模型进行融合构成分布式并行视频解析框架，配合多终端并行服务机制，在Storm框架下实现计算资源最优分配。利用错误解析的数据，经过校正后对原有模型进行迭代训练，并将视频解析框架中的深度学习模型进行更新，以此实现框架的自优化，提升模型的准确性和健壮性。

技术领域

本发明涉及海量视频解析、数据分布式计算和存储和深度学习领域，具体涉及到一种基于主动学习的分布式自优化视频实时解析框架。

背景技术

深度学习技术的飞速发展，为解决生产中的许多难题提供了新的思路。卷积神经网络的强大之处在于它的多层结构能自动学习特征，并且可以学习到多个层次的特征：较浅的卷积层感知域较小，学习到一些局部区域的特征；较深的卷积层具有较大的感知域，能够学习到更加抽象一些的特征。这些抽象特征对物体的大小、位置和方向等敏感性更低，从而有助于识别性能的提高。对于目标的几何变换、形变、光照等因素适应性较强，有效克服了由于目标外观多变带来的识别阻力。它可根据输入到网络的数据自动地进行特征提取和分析，具有较高的普适性泛化能力。最接近本发明的技术有：

(1)、深度学习：深度学习提出了一种让计算机自动学习出模式特征的方法，并将特征学习融入到了建立模型的过程中，从而减少了人为设计特征造成的不完备性。而目前以深度学习为核心的某些机器学习应用，在满足特定条件的应用场景下，已经达到了超越现有算法的识别或分类性能。但是在提供有限数据量的应用场景下，深度学习算法不能够对数据的规律进行无偏差的估计。为了达到很好的精度，需要大数据支撑。

(2)、Storm计算框架：Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流，它有很多使用场景：如实时分析，在线机器学习，持续计算，分布式RPC，ETL等等。Storm 支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快，在一个小集群中，每个结点每秒可以处理数以百万计的消息。Storm的部署和运维都很便捷，而且更为重要的是可以使用任意编程语言来开发应用。

在海量视频数据的背景下，常规的深度学习视频解析难以到达实时解析的效果并且难以承载海量视频数据的负荷。为了在海量多源视频数据并行输入的的情况下实现对视频的实时解析并利用输入的视频对视频解析模型进行主动优化，本发明提出了一种基于主动学习的分布式自优化视频实时解析框架。

发明内容

为解决现有技术中的不足，本发明提出了一种基于主动学习的分布式自优化视频实时解析框架，结合Storm流处理框架和深度学习图像解析模型，在海量多源视频数据并行输入的情况下实现对视频的实时解析并利用经过校验的解析结果实现深度学习模型的自优化。

本发明的技术方案为：

步骤(1)、基于Hadoop分布式存储系统，采用Storm框架实现对于图像数据的分布式训练；

步骤(2)、将得到的多个深度学习模型进行模型融合，部署至分布式并行视频解析框架，配合多终端并行服务机制，实现计算资源最优分配；

步骤(3)、针对多源数据输入，在分布式并行视频解析框架中自主选择最佳计算节点；

步骤(4)、视频解析的结果输送至前端进行展示，同时将其跟视频图像文件缓存至暂存服务器；

步骤(5)、将暂存服务器中的数据特别是解析错误的数据进行校正，然后进行迭代训练；

步骤(6)、将神经网络模型在视频解析框架中进行更新，实现一次自由化迭代。

本发明的有益效果：

(1)本方法利用Storm流式处理的优势，实现了深度学习模型的的分布式并行训练，提高了深度学习模型训练的效率；