[发明专利]一种多平台无线车载监控系统

权利要求书

1.一种多平台无线车载监控系统，其特征在于，所述系统包括视频采集层、流媒体服务器转发层、监控客户端层：

视频采集层采用了两种采集方式，(1)安卓手机客户端APP调用手机摄像头采集视频数据，经过数据处理后通过异构网络发送至流媒体服务器；(2)车载嵌入式arm开发板调用外接USB摄像头采集视频数据，该数据经过视频压缩编码后通过无线网络发送给流媒体服务器；

流媒体服务器转发层是基于开源流媒体服务器EasyDarwin搭建了自己的流媒体服务器，该层为一个中继转发，是连接视频采集发送端和显示终端的桥梁，在该层也能够实现视频信息的录制，在显示终端能点播服务器端存储的监控视频数据；

监控客户端层用来实时显示视频采集层拍摄的画面，在该层采用了两种方式来实现监控功能，第一种方式是在PC端通过媒体播放器实现单路视频数据的播放显示，也能够调用Easyplayer播放器实现多路联合视频数据监控的显示，第二种方式是用手机Android客户端app随时随地实时显示前段拍摄的视频画面；

所述系统采用C/S结构，移动视频采集终端主要包括S3C2440平台上运行的GPS数据采集以及视频采集、视频的编码、嵌入式Web服务器、流媒体服务器、安卓手机客户端，网络传输以TCP/IP协议为基础构建，实现RTP、RTSP、HTTP、TCP、UDP传输协议，远程监控客户端层实现对视频数据的接收、视频流的解码播放、网络状况反馈功能；

所述系统处理视频信息的方法包括：

步骤1：存储到SD卡中，以便用户在本地随时查看视频的记录数据；

步骤2：通过输出接口传送到本地车载显示屏，方便任何角度按需查看视频信息以及进行必要的车辆状态调整；

步骤3：通过无线通信模块将视频画面传送到远端服务器，将视频数据存储至机房硬盘，以备后期随时调看；

步骤4：经流媒体服务器转发至监控端，以实现监控客户端层进行实时监控车辆的功能；

步骤5：基于车载视频监控APP，允许用户在有网络的地方登录APP随时随地进行监控，也能够将路况信息实时发送给有关部门；

监控系统各部分设计方案包括如下：

一、基于Linux系统的视频采集模块的设计方案包括Linux采集终端，采集终端由4部分组成:ARM处理器、GPS模块、3G无线数据发送模块、图像采集模块，主控处理器芯片选用三星公司推出的16/32位RISC微处理器S3C2440，S3C2440采用ARM920t内核，0.13um的CMOS标准宏单元和存储器单元，最高运行频率达到400MHz，它的低功耗、简单、考究和全静态是专门为需要考虑花费和功耗的应用设计的，适用本系统，S3C2440提供了丰富的片内资源，支持Linux，集成在芯片上的功能有:16KB的指令和数据Cache、LCD控制器、AC97音频接口、摄像头接口、DMA控制器、PWM定时器、MMC接口，它能完成整个系统的调度工作，在系统上电时配置所有需工作芯片的功能寄存器，完成视频流的编码，并通过3G无线网络向监控终端发送视频码流；

嵌入式arm开发板S3C2440调用外接USB摄像头采集视频数据，该数据经过处理后通过无线发送模块传输给流媒体服务器，具体部署步骤：

(1)虚拟机ubuntu、交叉编译链的安装：

在ubuntu官网即可下载最新版的ubuntu源文件，下载编译好后即可搭建好虚拟机，在终端输入sudo apt-get update更新所有虚拟机的系统级文件；下载好arm开发板所需要的交叉编译链，安装好后，便能实现对arm开发板和虚拟机ubuntu之间进行交叉编译开发；

(2)嵌入式Linux内核移植：

Linux内核是Linux系统的核心，为系统硬件提供驱动及编程接口，同时为用户编写的应用程序提供运行环境，Linux对硬件平台具有很强的适应性，并且易于移植，内核配置通常是根据项目需求对内核选项进行选择，将需要的核心选项保存到配置文件中，在编译内核时，就会根据配置信息，对内核进行编译，需要配置USB摄像头驱动、文件系统信息，内核信息配置好后，进入内核目录，执行make clean清除原有的内核编译文件执行make ulmageARCH＝arm CROSS_COMPILE＝arm-linux-gcc编译好的ulmage内核映像文件放置在arch/arm/boot目录下，将ulmage拷贝至/tftpboot以供下载，在U-Boot命令行下，执行命令tftpcOOOSOOO ulmage bootm cOOOSOOO ulmage将ulmage烧写至Nandflash，嵌入式Linux系统由Linux内核和根文件系统两部分构成，二者缺一不可，文件系统包含文件数据、库文件、配置文件目录、软连接，Linux系统启动后首先挂载的分区就是根文件系统，没有根文件系统，内核是无法启动的，Linux环境搭建需要的U-Boot、Linux内核、文件系统都已经制作完成了，使用串口将开发板和虚拟机连接起来，在超级终端上将以上文件烧写至S3C2440开发板；

(3)视频采集模块设计：

视频采集模块的作用是从USB摄像头缓冲区读取图像数据，将采集到的单帕图像存储起来，为本地回显模块和传输模块提供数据，视频采集模块包括摄像头驱动模块的加载和基于V4L2的视频采集程序的设计，将摄像头驱动编译进内核，驱动加载成功后就能通过接口函数对摄像头进行读写操作，在Linux内核中，为了用户方便地采集音视频流，定义了一种编程接口，即VL42，对于程序开发者来说，它忽略了硬件设备的特征，并提供一系列接口函数对不同的硬件进行操作，对于音视频流，V4L2提供了专门的API函数实现采集和处理，并对多种类型的多媒体设备提供了支持，在内核中添加驱动程序后，能利用V4L2模块的API接口函数对摄像头进行操作，获取摄像头数据，以实现单帕图像及多帕连续图像的采集，V4L2是V4L的改进版，修复了后者的不足之处，从2.5版本后的内核，就添加了对V4L2接口的支持，V4L2采用顺序的操作方式，使编程的逻辑性更强，这些操作都是通过不断调用ioctl()函数来实现的；

视频采集完成后，为了更好地观测采集到的图像信息，设计了本地回显模块，将摄像头采集的数据显示在开发板屏幕上，为了方便处理，通过libjpeg解压缓冲区的jpeg图像，并转换成bmp图像，缩放至适合S3C2440屏幕的尺寸，将RGB格式转换成YUV格式，通过FFmpeg进行视频编码，显示在屏幕上；

(4)发送视频流数据：

摄像头视频流采集后通过调用本地回显模块将图像显示在arm板LCD液晶显示器上，同时调用x264压缩编码库，将原始数据进行压缩编码，调用Easypusher函数，将压缩好的视频数据通过无线传输模块传输至流媒体服务器；

二、Android系统的视频采集与监控模块中程序登陆主要是由Socket向服务器发出确认，以判断双方身份，然后Android端开始接受从服务端发来的视频数据文件，并保存到相应的缓冲区模块中，接着数据解码模块对缓冲区中的视频数据文件进行解码，在Android客户端中采用了指令的请求和数据传输分别使用不同的端口，这样能避免因用户操作过多而导致的数据传输速度的下降，有效的保证了数据传输的实时性，减少了整个应用程序在使用中的延迟和数据拥堵的情况；

三、监控系统中视频数据编/解码模块及视频传输协议：

视频数据的编码压缩:实际传输过程中，选用H.264编码标准，H.264是一种高压缩率的一种对运动图像压缩的手段，同时能适应多种复杂的网络环境，对带宽的要求很低，能够保证在占用最小带宽资源的前提下，提供最高质量的视频图像，在目前的编码方式中，H.264是一种集成了多种算法和多媒体技术的最佳选择，是比较理想的压缩编码方式，由此，本设计系统中采用H.264编码方式对视频数据进行压缩编码；

视频数据的解码:在视频数据传输过程中，视频解码模块接收到的是来自服务器端发送来的H.264编码格式的视频流文件，但是在Android系统中没有支持H.264格式的解码程序，故解码相关工作要通过代码来实现，解码库的编写是通过JNI调用H.264解码器中的部分方法，使用NDK工具集使用JAVA和C/C++混合编程的方式进行优化，最终应用在程序中的解码功能模块中；

视频监控系统中的传输协议主要分两大部分:请求指令的传输和视频数据的传输，其中指令的传输主要基于TCP/IP协议，这个协议中包含TCP和UDP两个不同传输层协议，当中TCP是可靠地，面向有连接的传输控制协议，其在数据传输前先通过“TCP的三次握手”建立可靠地连接机制，从而保证了从客户端程序到服务器端的请求指令发送的可靠性；UDP是指数据包之间的无连接传输协议，优点在于传输速度快，处理速度快，报文格式相对简单，适合用于视频数据文件的传输，但是存在着数据包乱序，报文丢失问题，因此在此基础上采用多媒体实时传输协议RTSP保证视频数据的高质量；

RTSP协议与UDP协议的结合是适用于视频文件传输常用的典型模式，使用RTSP进行对多媒体数据流的封装，进而使用UDP协议进行通信传输，为多媒体流播放提供了通信保障；

四、流媒体服务器功能模块的设计方案：

该模块的作用是视频流数据帧的转发，将前端采集的视频流数据经公网传输后发送至客户监控接收端，若在个人电脑PC机上搭建流媒体服务器，效果是不好的，因为前段数据采集需要将视频流发到指定的IP地址及端口号上，在现实生活中，无论是小区还是公司或学校内部的IP地址都是局域网，需要ARP地址解析协议才能使公网IP地址映射到局域网内的本机的IP上，增加了服务器所在地基于网络信号好坏的限制以及增大了视频流传输的延时，因此选择将流媒体服务器搭建在阿里云的云平台服务器上，服务器类型为easydarwin流媒体服务器，该开源流媒体服务器是EasyDarwin开源流媒体平台的流媒体服务部分，基于Apple的开源项目Darwin Streaming Server开发和扩展的，EasyDarwin支持标准RTSP/RTP/RTCP协议，具备RTSP/RTP点播、直播功能，支持HLS直播，适应安卓、IOS、微信直播终端平台，最大程度贴近安防监控、移动互联网流媒体需求；EasyDarwin本身提供了一个高性能的平台框架，Linux/Windows跨平台支持，是开发流媒体服务以及其他类型服务的极佳框架工具；EasyDarwin具备一套完整的网络I/O框架以及Utility。