[发明专利]基于智能协作推理的分布式实时智能监控系统的建立方法

说明书

本发明公开了一种基于智能协作推理的分布式实时智能监控系统的建立方法，包括：利用横向分割和纵向分割算法建立基于深度神经网络的横向和纵向分割模型；将横向分割点决策、横向执行节点决策、纵向执行节点决策构建为马尔科夫决策过程；基站利用DDQN算法以最小化任务处理时间差为目标构建分割点执行设备决策模型；各监控终端将视频流输入决策模型，并将视频流上传到横向执行节点，横向执行节点利用横向分割模型进行横向分割和执行，并将执行后的网络参数发送纵向执行节点；纵向执行节点根据利用垂直分割算法对纵向执行网络进行纵向分割和执行；云接收来自各纵向执行节点的执行结果，并利用轨迹匹配算法完成跨相机轨迹匹配。本发明提高了系统算力的有效利用率。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于智能协作推理的分布式实时智能监控系统的建立方法。

背景技术

智能监控系统(Intelligent Surveillance System,ISS)是深度学习(DeepLearning,DL)和物联网(Internet of Things，IoT)技术相结合的重要应用，而多目标多跟踪(Multiple Targets Multiple Camera Tracking,MTMCT)作为一种有前景的智能监控系统解决方案已被广泛认可。然而，目前的终端设备内存低、功耗低、计算能力有限，因此部署在这些资源受限的设备上的人工智能(Artificial Intelligence,AI)模型需要保证推理延迟和准确性。为了充分利用系统的计算能力，最大限度地减少系统计算延迟，近年来基于边缘计算的实时视频分析系统成为新的研究热点。然而现有系统架构缺乏对深度学习模型的细粒度的讨论，且在模型拆分中忽略了相机集群间的协同问题。

MTMCT成功的关键原因是深度学习技术和物联网的蓬勃发展，如图像识别、目标检测和目标跟踪。利用动态计算卸载和资源分配，可以实现基于物联网的实时视频分析。基于边缘计算的实时视频流分析架构验证了边缘计算在视觉领域的可能性。然而，广泛的应用场景导致了边缘云集群中的不同的架构，并且对细粒度的深度神经网络(Deep NeuralNetwork,DNN)模型缺乏讨论。在DNN模型划分领域中，考虑多层集群之间的合作仍然是一个有待解决的问题。因此，边缘实时视频分析系统仍然存在三个挑战：1.将复杂的DNN模型卸载到有限的边缘设备上；2.在层或节点之间的卸载端边缘云异构集群；3.缓解云的计算压力，充分利用系统的计算能力，并在多个视频流的场景中最小化计算延迟。具体来说：

一、MTMCT中的数据需要一个巨大的计算能力来完全释放其潜力，云计算是解决方案之一。然而，随着监控摄像头数量的激增，仅通过云计算来处理如此庞大的数据具有挑战性，云计算面临着巨大的传输压力、高延迟、成本昂贵和低安全性的问题。

二、基于边缘计算的实时视频分析系统成为研究热点。常见系统设计专注于利用协同学习策略解决多目标多摄像机跟踪任务，然而，深度神经网络仍然在云中运行，导致系统性能限制。已有系统实现自适应地平衡智能相机之间的工作负载，并将工作负载划分到相机和边缘集群之间，以实现优化的系统性能。然而，DNN的性质尚未被考虑，而部署在这些资源受限的设备上的人工智能模型需要保持较低的参数数量，同时容忍高推理延迟和低准确性。因此，将DNN分区与跨摄像机视频处理结合起来是很有意义的。

三、在上述趋势的推动下，有许多类型的研究都很重视DNN的拆分，以减少延迟和节约资源，有两种基本类别划分策略：水平分割和垂直分割。对于前者，DNN的水平分割利用DNN的特点设计了一种粗粒度的层级计算划分策略。通过将DNN视为一个有向无环图(Directed Acyclic Graph,DAG)，将最小化延迟的问题转移到一个等价的最小分割问题上。然而，水平分割的DNN不能实现模型网络的并行执行，并且增加了设备之间中间参数的通信代价。对于垂直分割，基于单个节点的计算能力对特征投影进行卷积层划分，然后将主机中所有节点的输出进行合并。垂直分割应用了一种可扩展的卷积层的融合区域划分(Fused Tile Partitioning,FTP)策略，以最小化内存占用和减少节点之间的传输。垂直分割虽然能够实现卷积层之间并向执行，然而对于存在残差结构和注意力机制的模型需要更细致的讨论。