[发明专利]基于5G边云计算的视频浓缩萃取精炼升华的方法和系统

说明书

本发明公开一种基于5G边云计算的视频浓缩萃取精炼升华的方法及系统，应用于视频追踪处理领域，针对现有技术中存在的难以支持在跨视域、跨时长场景下对移动对象的语义关联和行为分析，以及对移动对象的快速检索和轨迹跟踪以及出行模式及行为方式的判定和描述，乃至行为或事件的时空关系的还原的技术问题；本发明根据时间段内前景凸显是否发生变化对背景图像按照一定频率进行存储，能够极大降低视频存储空间，节省了存储资源；本发明以时间和移动对象在空间中的运动轨迹的格式来存储视频，实现了可以根据时间轨迹获取移动对象的移动轨迹，可以极大节省移动对象在视频文件中的检索时间并减少所使用的计算资源。

技术领域

本发明属于计算机视觉、边缘计算、5G及多层云架构领域，特别涉及一种基于5G和边缘计算及多层云架构的超大规模实时及事后处理的视频浓缩、萃取、精炼，升华和还原的方法、系统和装置技术。

背景技术

随着平安城市、智慧交通、智能安防及5G网络的快速发展，数以几十万计的监控摄像头被安装在城市主干道、重要交通路口和大型广场、车站、机场等公共活动的场所，每天产生的监控视频数据量非常庞大。不仅造成目前视频存储成本高昂，而且存储时长非常有限(通常在一至三个月)，这对视频的分析和应用都带来巨大挑战和限制，比如对视频中移动对象的快速检索、轨迹跟踪、行为分析以及跨视域、跨长时的对象追踪、溯源等。特别是在对监控视频进行检索时，重要的线索或移动对象，可能在监控画面中仅短暂出现数秒。若采用传统人工方式，面对数十乃至成百上千个摄像头，对每个摄像头数小时乃至几十小时的视频检索，仅是浏览这些视频就需要花费大量的人力、精力和时间，并且极易漏检漏看错检错看这些散落在视频数据中的重要信息。因此迫切需要一种视频高浓缩方法和技术，并对浓缩后的视频数据进一步萃取、精炼、升华和还原，从而来有效提升监控人员对视频的检索和分析效率，并且最大程度降低视频存储成本、延长视频存储时长。

在目前的视频处理技术中，更多关注的是视频浓缩技术，常用的视频浓缩方法通常采用以下几种方式：

一是基于时间对视频进行采样，即每间隔一定的时间抽取一个代表帧或者一个片段，组成视频摘要，以实现视频压缩。这种方式完全没有基于视频的内容，即直接丢弃某些帧会很容易丢失发生在很短时间内的行为，效果很不可靠；

二是通过检测和提取运动目标，然后对运动目标轨迹组合，再将前景目标和背景图像进行融合。这种方式通常存在以下问题：一是通常是对视频的事后处理，缺乏实时性；二是缺乏对视频中移动对象提取的完整性，如缺少对背景环境中暂时处于静止对象的提取(比如车停在路边，经过一段时间，开走了)；三是缺少对移动对象的物理属性和社会行为属性的萃取、精炼，以及对视频内容的汇集总结、升华和还原。

三是采用深度神经网络进行视频压缩。这种方法在训练和测试深度神经网络时，通常需要部署在高性能服务器或数据中心，一是使得在边缘端进行实时视频压缩受到很大限制；二是同样缺少对视频内容的萃取、精炼、升华和还原。

四是通过对背景和前景图像的分割、提取，实现对在线视频的浓缩处理。这些方式同样存在上述所遇到的问题：一是缺乏对视频中移动对象提取的完整性；二是缺少对视频内容的事后处理，比如背景环境更新、对象增量识别、不同对象关联，以及GIS地图数据的融合等；三是缺少对视频内容的萃取、精炼、升华和还原。

综上以上关于视频浓缩方式的做法，要么基于时间采样缺少视频帧和视频内容的完整性，要么缺乏对视频浓缩处理的实时性，要么缺少事后对移动对象自身以及相互之间的关联分析，要么需要运行在高性能服务器，难以满足在大规模、实时性要求高的边缘设备上的应用，要么仅是在线提取感兴趣的部分运动目标，缺乏对暂时处于静止状态运动目标的提取，及对环境背景的提取、更新和识别，以及对视频内容的萃取、精炼、升华和还原。