[发明专利]一种基于语义的农机监控视频图像节带化传输系统

说明书

本发明涉及智能网联农机系统技术领域，公开的一种基于语义的农机监控视频图像节带化传输系统，通过车载摄像头和路边田间固定摄像头进行信息采集和视频监控，再进行提取视频的关键帧和运动轨迹，并对提取出来的原始运动轨迹进行后处理操作，得到其运动方向和轨迹平均斜率信息；接着对关键帧进行对象识别操作，将识别结果加入到视频名词语义标签集合中；然后用名词语义标签和训练集中的轨迹文件进行名称匹配，找出对应的轨迹文件并计算轨迹语义相似度，选出k个相似度最高的轨迹文件；本发明能够提高网络设备的计算能力和存储能力，利用适当的网元计算与存储能力换取或节约网络传输的带宽消耗，即提高通信能力，并且有利于视频数据的查询和检索。

技术领域

本发明涉及智能网联农机系统技术领域，尤其涉及一种基于语义的农机监控视频图像节带化传输系统。

背景技术

在智能网联农机系统中，视频数据是通过移动网络传输到数据中心和核心网的。然而，由于农田地理位置与占地面积等原因，智能网联农机系统的移动通信网络：核心网与接入网作为移动视频业务传输的媒介，却面临着带宽、有线与无线受限的先天劣势。

节带化系统的具体研究目标是针对同样量度的视频信息，如何在保障其有用信息不丢失及视频质量不降低的前提下，尽可能减少在其传输过程中对传输资源，即带宽的消耗。

智能网联农机在作业过程中产生的视频内容很多都只需将其内容信息传输即可，用户并不关注详细视频画面，而是想从视频画面中获取信息，比如行进过程中遇到障碍物、行驶到农田边界等常规事件是可以只传输语义信息来反馈视频内容的。由于语义信息相比于视频信息其体量少太多，因此在智能网联农机系统中，基于语义的节带化技术非常重要。同时，通过提取视频的语义信息，可以将视频数据从基于帧的表示方式转化为基于语义对象的表示方式，使得计算机能够更加准确地理解视频数据，便于更好地实现对视频内容的表达，也更加有利于视频数据的查询和检索。智能网联农机系统中，视频数据是通过移动网络传输到数据中心和核心网的。然而，由于农田地理位置与占地面积等原因，智能网联农机系统的移动通信网络的核心网与接入网作为移动视频业务传输的媒介，却面临着带宽、有线与无线受限的先天劣势。因此，如何以现有的硬件技术来存储和传输大量的视频数据将成为迫切需要解决的问题之一。

发明内容

本发明提出一种基于语义的农机监控视频图像节带化传输系统。

为实现上述发明目的，本发明采用如下技术方案：

一种基于语义的农机监控视频图像节带化传输系统，用于农机行进的过程，其特征是：通过车载摄像头和路边田间固定摄像头进行信息采集和视频监控，再进行提取视频的关键帧和运动轨迹，并对提取出来的原始运动轨迹进行后处理操作，得到其运动方向和轨迹平均斜率信息；接着对关键帧进行对象识别操作，将识别结果加入到视频名词语义标签集合中；然后用名词语义标签和训练集中的轨迹文件进行名称匹配，找出对应的轨迹文件并计算轨迹语义相似度，选出k个相似度最高的轨迹文件；最后，读取与k个轨迹文件同名的训练集标注文件，将结果加入到视频动词语义标签集合中；即通过传输语义信息来反馈视频内容；

其中反馈视频数据，采用名词语义标签和动词语义标签相结合的方式来表达其语义信息，其中名词语义标签对应的是视频中的运动对象，动词语义标签对应的是运动对象的具体动作行为，两者结合起来即为视频的语义标签；

1、名词语义标签提取：

名词语义标签方面，首先对测试视频进行镜头分割和关键帧提取等操作，得到视频的关键帧，然后对关键帧进行对象识别，即可得到名词语义标签。

1)镜头分割

基于直方图的镜头分割算法，是将相邻帧之间的各个像素的灰度、亮度等分为N个等级，再针对每个等级统计像素数做成直方图比较，给出两个图像的直方图，则直方图帧差计算公式如下所示：