[发明专利]一种基于代价的优化系统处理大规模数据视频的方法

说明书

技术领域

本发明涉及视频分析领域，尤其是涉及了一种基于代价的优化系统处理大规模数据视频的方法。

背景技术

视频分析常用于交通监控、互联网、工业监控等领域，获取视频语义信息。具体地，在交通监控领域内，通过对视频数据的处理可实时获取交通基本数据，对交通拥堵和交通事故进行预测。而互联网领域内，通过对各种视频数据进行分析，从而自动高效地完成对海量视频的分类和标记。目前深度卷积神经网络(CNN)已经可以准确地对视觉内容进行语义标记，识别数千类对象，但是对于大规模数据视频，直接应用CNN带来的计算代价相当大。

本发明提出了一种基于代价的优化系统处理大规模数据视频的方法，使用基于代价的优化来为每个输入视频流配备专门的视频处理流程，极大地加速了对视频的后续基于CNN的查询。具体地，首先将输入的视频帧加载到存储器中，然后运行差分检测器，在通过差分检测器的帧上运行专用CNN，对置信度低的帧运行目标模型，降低了计算代价。本发明突破了在大规模数据视频流中应用CNN会带来巨大计算代价的难题，提出了一个数据管理系统NOSCALE，加快对大规模视频流进行基于CNN的分类查询速度，保证准确性的同时，提高了视频数据收集速度。

发明内容

针对在大规模数据视频流中应用CNN会带来巨大计算代价的问题，提出了一个数据管理系统NOSCALE，加快对大规模视频流进行基于CNN的分类查询速度，保证准确性的同时，提高了视频数据收集速度。

为解决上述问题，本发明提供一种基于代价的优化系统处理大规模数据视频的方法，其主要内容包括：

(一)NOSCALE系统；

(二)系统运行差分检测器。

其中，所述的NOSCALE系统，包括三个关键部分：差分检测器、专用模型和目标模型，当首次提供新的视频流时，NOSCALE将目标模型应用于其所有帧，以便开始回答查询，同时训练一个级联的滤波算子来加速对此特定流的特定查询，NOSCALE插入两种类型的滤波算子，首先使用差分检测器来检查当前帧是否与另一个最近帧相似，或者更一般地，检测是否与标签已知的参考图像相似，另外训练回答查询的专用模型，而不将帧传递到完整卷积神经网络(CNN)。

进一步地，所述的差分检测器，用于确定所检测帧是否与另一带已知标签的图像有着显著差异，支持两种形式的差分检测器：

(1)对已知不包含对象(来自先前调用目标模型并且显示无结果)的视频流中固定参考图像的差分检测，通过对所有帧进行平均来计算参考图像，帧的目标模型不返回任何标签；

(2)对较前帧的差分检测，在这种情况下，如果没有显着差异，NOSCALE返回与前一帧的输出相同的标签，优化器基于输入数据学习t_diff时间。

进一步地，所述的专用模型，NOSCALE使用来自大目标CNN的输出作为标签，为每个视频流和查询训练一个小型专用CNN，并配置以下参数，其中卷积层的数目(2或4)，基本层中卷积单元的数量(32或64)，以及致密层中神经元的数量(32,64,128或256)，NOSCALE的优化器为每个视频流选择性能最佳的模型和查询，除此之外，NOSCALE还为其置信度值c选择了两个阈值：c_low是低阈值，在其之下则输出0(即帧中不包含对象)，而c_high是高阈值，在其之上则输出1(即帧中检测到了对象)，对于c_low和c_high之间的c的输出值，NOSCALE在该帧上调用完整目标CNN，结合阈值的选择与模型的选择来确定速度和精度。

进一步地，所述的优化器，NOSCALE使用基于代价的优化器将差分检测器和模型专用化组合在一起，其可以有效地找到一个模型和阈值的良好组合，优化器接收图像的数据集以及目标精度值FP^*和FN^*，它们分别是假阳性率和假阴性率的期望上限，优化器解决的问题如下：

maximize E(throughout)

subject to flase positive rate<FP^*

and flase negative rate<FN^*

执行每个候选滤波器的代价估计并且为它们中的每一个设置几个特定于模型的参数以达到目标精确度，优化器包括三个关键部分：输入数据准备、代价模型、搜索算法。