[发明专利]基于GPU的视频流智能感知协同处理系统及其处理方法

摘要

一种基于GPU的视频流智能感知协同处理系统及其处理方法，涉及视频处理技术领域，所解决的是现有技术全局性差及占用通信资源多的技术问题。该系统包括通过广域网互联的云服务器及多个视频流感知节点；所述云服务器配置有云存储单元；所述视频流感知节点包括节点摄像头、节点主控模块、节点GPU模块、节点通信模块；云服务器为每个视频流感知节点分配一个与该视频流感知节点的特性相匹配的视频帧处理周期发生器，每个视频流感知节点按照视频帧处理周期发生器生成的处理时间段序列工作；云服务器对每个视频流感知节点发过来的预处理过的视频信息进行深度分析。本发明提供的系统及方法，全局性好，视频分析效果全面，并且占用通信资源少。

主权项

1.一种基于GPU的视频流智能感知协同处理系统的处理方法，其特征在于：该系统包括云服务器，及多个视频流感知节点；所述云服务器配置有云存储单元，视频流感知节点、云服务器接入同一个广域网络；所述视频流感知节点包括节点摄像头、节点主控模块、节点GPU模块、节点通信模块，其中的节点GPU模块与节点主控模块互联，节点摄像头的视频数据输出端口接到节点主控模块的数据采集端口，节点主控模块通过节点通信模块接入云服务器所在的网络，使得节点主控模块能与云服务器进行数据交换，该系统的处理方法为：为每个视频流感知节点设定一个节点编号id，并为每个视频流感知节点设定一个节点状态向量SV，节点状态向量SV中包含有用于标识视频流感知节点中的各个部件工作状态的多个状态元素；视频流感知节点启动后，节点主控模块通过节点通信模块向云服务器发送一个包含有本节点注册信息的注册信息包，并等待云服务器的反馈信息包，视频流感知节点的注册信息包括视频流感知节点的节点编号id、节点网络地址ip、节点状态向量SV；在云存储单元中预先存入GPU算法库GS；云服务器收到视频流感知节点发来的注册信息包后，先检测云存储单元是否存储有该视频流感知节点的注册信息；如果云存储单元中已存储有该视频流感知节点的注册信息，云服务器则先为该视频流感知节点分配一个视频帧处理周期发生器CG及一个GPU算法子集GPUS，再为该视频流感知节点构建一个反馈信息包并下发给该视频流感知节点；如果云存储单元中未存储有该视频流感知节点的注册信息，云服务器则先从接收到的注册信息包中获取该视频流感知节点的注册信息，并将所获取的注册信息存入云存储单元，并为该视频流感知节点分配一个视频帧处理周期发生器CG及一个GPU算法子集GPUS，然后再构建一个反馈信息包并下发给该视频流感知节点；云服务器为视频流感知节点构建的反馈信息包中包含有视频流感知节点的节点编号id、节点网络地址ip，及云服务器为视频流感知节点所分配的视频帧处理周期发生器CG的处理周期T，及云服务器为视频流感知节点所分配的GPU算法子集GPUS；视频帧处理周期发生器CG是用于生成处理时间段序列的时间段序列发生器，并且视频帧处理周期发生器CG所生成的处理时间段序列中，各个处理时间段的时长相等，视频帧处理周期发生器CG的处理周期T是指单个处理时间段的时长；GPU算法子集GPUS是GPU算法库GS的子集，是由云服务器从云存储单元所提取的GPU算法的集合；视频流感知节点中，节点主控模块通过节点通信模块获取来自云服务器的反馈信息包，并根据分配给本节点的视频帧处理周期发生器CG的处理周期T、GPU算法子集GPUS来构建节点GPU模块的工作流程，并发送给节点GPU模块，使得节点GPU模块按照分配给本节点的视频帧处理周期发生器CG的处理周期T、GPU算法子集GPUS工作；视频流感知节点中，节点主控模块按照分配给本节点的视频帧处理周期发生器CG的处理周期T从节点摄像头获取当前视频帧frameImg，并从分配给本节点的视频帧处理周期发生器CG获取当前处理时间段t，按照当前处理时间段t及当前视频帧frameImg构建视频帧GPU处理对象VFPO发送给节点GPU模块；视频帧GPU处理对象VFPO由当前处理时间段t、视频流VST、当前视频帧frameImg、GPUAS构成，其中的当前处理时间段t由分配给本节点的视频帧处理周期发生器CG所生成，视频流VST从节点摄像头获取，当前视频帧frameImg是当前处理时间段t内所要处理的当前帧，GPUAS是按照分配给本节点的GPU算法子集GPUS所设定的用于处理视频流VST的算法集合；视频流感知节点中，节点GPU模块根据视频帧GPU处理对象VFPO中的GPUAS对当前视频帧frameImg进行处理，并在处理完毕后构建一个包含有当前处理时间段t、视频流VST及处理结果Rels的视频帧处理结果对象VFPRO，然后再将视频帧处理结果对象VFPRO发送给节点主控模块，节点主控模块再构建一个包含有视频帧处理结果对象VFPRO，及本节点的节点编号id、节点网络地址ip的处理结果消息包，并通过节点通信模块发送给云服务器；云服务器收到视频流感知节点发来的处理结果消息包后，根据处理结果消息包中的节点编号id、节点网络地址ip找出分配给该视频流感知节点的视频帧处理周期发生器CG，并从该视频帧处理周期发生器CG获取一个新的当前处理时间段tt，再从处理结果消息包中的视频帧处理结果对象VFPRO中提取出视频流VST及处理结果Rels，再按照新的当前处理时间段tt，利用GPU算法库GS对所提取的视频流VST、处理结果Rels进行深度分析，并将深度分析结果存入云存储单元。