[发明专利]一种多感知源信息融合视频方法

说明书

技术领域

本发明涉及视频监控系统中多感知源信息的融合问题，具体涉及北斗接收器数据，温湿度传感器数据等多源信息与视频流的获取，融合，存储，查询方法，属于安防视频监控领域。

背景技术

在工业生产中，各重点区域都已经部署了视频监控系统，能够获取场景中的视频和图像，提高了生产现场的安全性和可管理性。通常，生产现场还有各种环境要素，包括时间、地理、噪音、温湿度、风向、出入人员身份信息等，这些信息可以通过各种传感设备获取，是安全生产、安全防护所需要的信息。但是这些系统都是自成体系的独立系统，数据源都独立存储在各自服务器，难以综合利用，来准确描述所发生的的事件和场景的特征，难以支持智能化的生产、调度、控制、防护，这种分散、独立的监控系统和数据库不利于高效、智能工业生产管理的需要。

为了提高视频监控和安全生产、安全防范的效率和智能化程度，需要将上述的多种环境信息通过一体化的智能视频监控系统汇集融合起来，系统化的实时获取、存储、检索数据，建立数据源之间的关联性，特别是保证时间、地点的准确性，保证全局一致性、完整性，利于发现问题报警，同时可以对态势进行分析，进一步做数据挖掘，从中发掘有价值的信息，用于提高生产效率、安全防范，以及应急处理的反应速度与效率。

多感知源信息融合技术出现于20世纪70年代，研究如何将不同来源的数据信息整合在一起，以得到比用单一的数据更准确，更可靠的结果。多感知源信息融合按融合的层次分为数据级融合，特征级融合和决策级融合3种。数据级融合是最低层次的融合，直接对传感器的观测数据进行融合处理，然后基于融合结果进行特征提取和判断决策。特征级融合指在各个传感器提供的原始信息中，首先提取一组特征信息，形成特征矢量，并在对目标进行分类或其他处理前对各组信息进行融合，有时称为中级融合。常用的方法有聚类分析法，人工神经网络和K阶最近邻法等。决策级融合是高层次的融合，先由每个传感器基于自身所采集的数据作出决策，然后在融合中心完成对局部决策的融合处理。常见算法有Bayes推断、专家系统、D－S证据推理等。

现有的多源数据融合的视频监控方法针对特定数据源或者是在视频编码器装置内接受多源数据。例如，武汉大学提出的一种多源大数据融合的视频监控行人身份识别方法(CN105357496A)，借助监控点的通话手机号码来识别行人的物理身份。观测行进路径上特定嫌疑行人所在的监控点上手机号码的重现次数，计算行人，手机号码重现概率，以及二者的组合概率来识别行人的物理身份。解决了仅仅依赖监控视频自身来识别监控目标身份在某些情况下的失效问题。北京中星微电子有限公司提出了一种支持多源数据融合的视频分级编码方法(CN106303538A)，将视频进行优化并与外部传感器的多源信息进行编码并同步结合，使源视频形成包含视频内容和各视频对象相关信息的分级码流。解决了现有视频编码器装置不能接收外部传感器信息且工作效率低下，不能有效突出重点信息等问题。

前者发明和成果主要针对多源数据融合的视频监控行人身份识别，主要目标是利用视频监控和监控点的通话手机号码的重现次数对识别行人身份。后者发明和成果主要针对支持多源数据融合的视频分级编码方法，主要目标是解决现有视频编码器不具备接收外部多源传感器信息功能的问题。

发明内容

本发明提出一种多感知源信息融合视频监控方法及系统，该系统(简称多源视频监控系统)由网络摄像机、网络硬盘录像机、北斗接收器、温湿度传感器、融合服务器、客户端组成。融合服务器上运行融合服务模块，查询服务模块两个模块。融合服务模块从网络硬盘录像机获取视频流，按照设定的时间间隔从视频流中截取视频帧图片，并通过数据接口获取多个数据源的数据。融合服务模块将多源数据与视频帧图片融合之后，根据既定的策略，将数据打包，保存在本地指定的目录下，并建立信息索引。查询服务模块支持来自客户端的检索查询。多源感知设备通过数据网关或者数据库为融合服务器提供多种类型的数据，融合服务模块的数据接口负责完成这些数据的收集。

具体来说，本发明的方法包括下列步骤(参考图1)：

A.按照系统结构部署系统内的硬件设备，具体实施步骤如下：

A1.所述的硬件设备包括：网络摄像机、网络硬盘录像机、温湿度传感器、北斗接收器、融合服务器、客户端，通过交换机连接在一个局域网中；

A2.融合服务器上运行两个模块：融合服务模块负责获取视频帧图片和多源数据，及融合功能；查询服务模块负责响应客户端请求；

A3.北斗接收器与融合服务器串口相连接，从北斗卫星接收信息，并发给融合服务模块；