[发明专利]基于ARM和FPGA的智能网络摄像头的分析系统及分析方法

说明书

技术领域

本发明涉及流媒体传输领域，具体涉及一种基于ARM和FPGA的智能网络摄像头的分析系统及分析方法。

背景技术

网络摄像头简称WEBCAM，英文全称为WEB CAMERA，是一种结合传统摄像机与网络技术所产生的新一代摄像机，它可以将影像透过网络传至地球另一端，且远端的浏览者不需用任何专业软件，只要标准的网络浏览器(如"Microsoft IE或Netscape),即可监视其影像。

网络摄像头是传统摄像机与网络视频技术相结合的新一代产品，除了具备一般传统摄像机所有的图像捕捉功能外，机内还内置了数字化压缩控制器和基于WEB的操作系统，使得视频数据经压缩加密后，通过局域网，internet或无线网络送至终端用户。而远端用户可在PC上使用标准的网络浏览器，根据网络摄像机的IP地址，对网络摄像机进行访问，实时监控目标现场的情况，并可对图像资料实时编辑和存储，同时还可以控制摄像机的云台和镜头，进行全方位地监控。

目前，网络摄像头的普及与逐步完善，如何在现有环境中结合同样也在近年快速发展的图像模式识别，打造智能化的网络监控系统成了重中之重。但由于模式识别的大运算量，实时性本身十分依赖硬件，当需要识别的图像来源为网络摄像头时，对实时性的考验就更大了。这里实时性的提高有包括两个方面，一个是视频流信号的采集与解码，另一个对图像识别的速度。目前这两方面都严重依赖硬件的支持，现有的硬件支持不是成本过高，就是对已经搭建的IPC网络接入难度过大。

发明内容

本发明的目的在于提供一种基于ARM和FPGA的智能网络摄像头的分析系统，其解决了目前网络摄像头难接入图像识别处理模块的问题，运行于ARM端的极低延迟的RTSP流媒体客户端作为网络摄像头的接入口，进行同时多路视频流的采集与解码工作，再将解码后的图像通过PCIe回传到FPGA中，使用FPGA的CNN硬件加速器对图像进行实时识别目标。

本发明的技术方案是：一种基于ARM和FPGA的智能网络摄像头的分析系统，包括流媒体捕获模块、流媒体解码模块以及图像识别处理模块，所述流媒体捕获模块采用RTSP流媒体客户端，所述流媒体解码模块采用基于解码ARM的硬件解码器，所述RTSP流媒体客户端运行于所述解码ARM的系统中并分别与网络摄像头和所述硬件解码器连接，所述图像识别处理模块配置有基于FPGA的硬件加速器，所述解码ARM与所述FPGA之间通过PCle高速总线相连接，所述流媒体解码模块与所述图像识别处理模块的数据格式相同，所述RTSP流媒体客户端对多路IPC流媒体进行高速并行捕获，所述硬件解码器对多路IPC流媒体进行同时解码，并且实时抓取解码后图像进行输出，所述硬件加速器对图像进行实时目标识别。

解码ARM为解码ARM芯片，FPGA为FPGA开发板。

进一步的，所述解码ARM采用Hi3536芯片。

进一步的，所述硬件加速器为Sobel边缘检测加速器。

进一步的，所述硬件加速器为CNN硬件加速器，所述CNN硬件加速器采用加法树和二进制数移位的方式完成并行的卷积计算。

进一步的，所述网络摄像头、所述硬件解码器以及所述图像识别处理模块分别通过网线电连接交换机。

进一步的，所述交换机为通用千兆交换机。

进一步的，所述硬件加速器通过PCIE高速串行计算机扩展总线连接所述图像识别处理模块。

进一步的，所述图像识别处理模块通过HDMI高清连接线连接显示器。

本发明还提供另外一个技术方案：一种基于ARM和FPGA的智能网络摄像头系统的分析方法，包括流媒体捕获过程和流媒体解码过程，

所述流媒体捕获过程包括如下步骤：

S1-1、实例化RTSP流媒体客户端的句柄，进入S1-2；

S1-2、初始化一个或多个RTSP流媒体客户端，进入S1-3；

S1-3、打开每个所述RTSP流媒体客户端的RTSP流，进入S1-4；

S1-4、使用RTSP流媒体客户端中的数据回调函数获取RTSP流媒体数据，进入S1-5；

S1-5、删除每个所述RTSP流媒体客户端；

所述流媒体解码过程包括如下步骤：

S2-1、初始化硬件解码器，进入S2-2；

S2-2、配置所述硬件解码器的VB视频缓存池参数，进入S2-3；