[发明专利]一种基于语义的农机监控视频图像节带化传输系统

权利要求书

1.一种基于语义的农机监控视频图像节带化传输系统，用于农机行进的过程，其特征是：通过车载摄像头和路边田间固定摄像头进行信息采集和视频监控，再进行提取视频的关键帧和运动轨迹，并对提取出来的原始运动轨迹进行后处理操作，得到其运动方向和轨迹平均斜率信息；接着对关键帧进行对象识别操作，将识别结果加入到视频名词语义标签集合中；然后用名词语义标签和训练集中的轨迹文件进行名称匹配，找出对应的轨迹文件并计算轨迹语义相似度，选出k个相似度最高的轨迹文件；最后，读取与k个轨迹文件同名的训练集标注文件，将结果加入到视频动词语义标签集合中；即通过传输语义信息来反馈视频内容；

其中反馈视频数据，采用名词语义标签和动词语义标签相结合的方式来表达其语义信息，其中名词语义标签对应的是视频中的运动对象，动词语义标签对应的是运动对象的具体动作行为，两者结合起来即为视频的语义标签；

(1)、名词语义标签提取：

名词语义标签方面，首先对测试视频进行镜头分割和关键帧提取等操作，得到视频的关键帧，然后对关键帧进行对象识别，即可得到名词语义标签。

1)镜头分割

基于直方图的镜头分割算法，是将相邻帧之间的各个像素的灰度、亮度等分为N个等级，再针对每个等级统计像素数做成直方图比较，给出两个图像的直方图，则直方图帧差计算公式如下所示：

其中，N为图像帧像素的总数；hm(i)-hn(i)表示的是两个视频帧在i这个直方图单位上面的距离；基于直方图法不考虑像素的位置信息，而使用其亮度和色彩的统计值；

2)关键帧提取

基于聚类的关键帧提取算法，基于聚类的关键帧提取，其实现步骤：

第一步：设某个镜头Mi包含n个图像帧，表示为Mi＝{N₁，……，N_n}，其中，N₁为首帧，N_n为尾帧；如果相邻两帧之间的相似度定义是这相邻两帧颜色直方图的相似度，也即是直方图特征差别，预定义一个阈值δ控制聚类的密度；

第二步:计算当前帧N_i与现存某个聚类质心间的相似度，如果该值小于δ，则该帧与该聚类之间距离较大，因此N_i不能加入该聚类中；若N_i与所有现存聚类质心相似度均小于δ，则N_i形成一个新的聚类且N_i为其质心；否则将该帧加入到与之相似度最大的聚类中，使该帧与这个聚类的质心之间的距离最小；

第三步：通过前两步将镜头Mi所包含的n个图像帧分别归类到不同聚类后，选出关键帧：从每个聚类中抽取出离聚类质心最近的帧作为这个聚类的代表帧，所有聚类的代表帧就构成了镜头Mi的关键帧；

(2)、动词语义标签提取：

动词语义标签方面，首先通过运动对象检测和跟踪的相关算法得到测试视频的运动轨迹数据，然后考察测试视频的轨迹数据与训练集视频的轨迹数据之间的语义相似度，同时联系测试视频的名词语义标签以及训练集视频的标注内容，综合分析后即可得到动词语义标签；

1)运动轨迹提取与分析，提取运动轨迹时，通常先进行运动对象检测操作，然后对检测出来的运动对象进行跟踪，将跟踪的结果用坐标表示出来，即得运动轨迹；提取运动轨迹时，通常先进行运动对象检测操作，然后对检测出来的运动对象进行跟踪，将跟踪的结果用坐标表示出来，即得运动轨迹；

2)视频训练集构造方法，采用机器学习的方法来提取视频语义时，构造视频训练集；做法是先选取视频，提取出关键帧和运动轨迹的相关数据，在运动轨迹中选取最长的一条，并通过轨迹后处理操作提取其信息，包括运动方向、运动轨迹曲线的平均斜率；然后对这些视频进行手工标注，标注内容是对象的运动行为；其中，关键帧用于视频名词语义标签提取，运动轨迹信息和手工标注的内容则是为视频动词语义标签提取做准备；对训练集中的每个视频都提取其相关数据并进行手工标注，所有操作完成后，视频训练集即构造完毕；

3)动词语义标签提取算法，动词语义标签提取算法，是基于机器学习思想，用训练集的数据与待分析视频的数据进行匹配，其过程如下：首先提取视频的关键帧和运动轨迹，并对提取出来的原始运动轨迹进行后处理操作，得到其运动方向和轨迹平均斜率信息；接着对关键帧进行对象识别操作，将识别结果加入到视频名词语义标签集合中；然后用名词语义标签和训练集中的轨迹文件进行名称匹配，找出对应的轨迹文件并计算轨迹语义相似度，选出k个相似度最高的轨迹文件；最后，读取与k个轨迹文件同名的训练集标注文件，将结果加入到视频动词语义标签集合中。