[发明专利]一种视频融合方法、装置、设备及计算机可读存储介质

说明书

本发明实施例公开了一种视频融合方法、装置、设备及计算机可读存储介质。其中，方法包括利用SIFT特征描述子分别提取采集太赫兹安检通道中通过目标的可见光视频和太赫兹视频的特征点；根据时空映射关系对太赫兹视频和可见光视频进行融合；时空映射关系的计算过程为根据可见光视频和太赫兹视频的帧频比例系数和预设特征点的轨迹速度曲线，确定二者的时间映射关系；轨迹速度曲线为可见光视频和太赫兹视频中拍摄物体的预设特征点的外部轮廓变化率；根据二者采集设备的空间位置关系和时间映射关系，确定可见光视频和太赫兹视频的空间映射关系。本申请实现了可见光视频和太赫兹视频的实时融合，提高太赫兹安检系统的安检效率，满足安检工作的现实需求。

技术领域

本发明实施例涉及安检技术领域，特别是涉及一种视频融合方法、装置、设备及计算机可读存储介质。

背景技术

安检系统作为社会治安管理中重要的一环，逐步应用在各个应用场景中，例如地铁、机场、博物馆或者各旅游景点。

太赫兹波为波长在30μm～3mm之间的远红外电磁辐射，可穿透纸张、塑料和布料等物质，利用太赫兹波作为信号源进行成像得到的太赫兹成像视频，可发现隐藏于人体衣物下的物品。由于太赫兹波电离能量很低，对人体不存在任何伤害，且太赫兹成像能检测金属物品以及非金属违禁品(如炸药、陶瓷刀、玻璃刀、毒品等)，使得太赫兹成像广泛应用于人体安检。

现有的太赫兹安检系统包括常规的可见光视频监控和太赫兹成像系统。安检操作流程中，当生物体通过太赫兹安检通道时，可见光视频监控对生物体进行可见光成像生成可见光视频，太赫兹成像系统生成的太赫兹视频。判图员通过监测太赫兹视频判断是否存在携带可疑违禁物品的人员，当存在携带可疑违禁品的人员通过时，通知前方的手检员进一步检查确定。

但是，基于太赫兹技术的人体安检成像的分辨率较低、视频帧率信噪比低、对比度差，细节表现不丰富，无法得知违禁品大小、形状、准确位置等信息，判图员只能向手检员提供简单的提示(例如违禁物品的大概范围)，当在安检人流量较大的时，判图员甚至无法确定携带可疑违禁品的具体人员，还需手检员依次对每个经过安检通过的手工触摸进行违禁物品的准确定位，安检效率较低。

鉴于此，如何准确定位可疑违禁品的位置，提高太赫兹安检系统的人体安检效率，是本领域技术人员亟待解决的问题。

发明内容

本发明实施例的目的是提供一种视频融合方法、装置、设备及计算机可读存储介质，通过对可见光视频和太赫兹视频进行实时融合，方便手检人员快速辨识目标人物及携带可疑违禁品藏匿的位置、大小、形状，提高太赫兹安检系统的安检效率，满足安检工作的现实需求。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种视频融合方法，应用于太赫兹安检系统，包括：

获取安检通道的可见光视频和太赫兹视频，并利用SIFT特征描述子分别提取所述可见光视频和所述太赫兹视频的特征点；

根据预先计算的时空映射关系，对所述太赫兹视频和所述可见光视频进行融合；

其中，所述时空映射关系的计算过程包括：

根据所述可见光视频和所述太赫兹视频的帧频比例系数和预设特征点的轨迹速度曲线，确定所述可见光视频和所述太赫兹视频的时间映射关系；所述轨迹速度曲线为所述可见光视频和所述太赫兹视频中拍摄物体的预设特征点的外部轮廓变化率；

根据所述可见光视频和所述太赫兹视频的采集设备的空间位置关系和所述时间映射关系，确定所述可见光视频和所述太赫兹视频的空间映射关系。

可选的，所述根据所述可见光视频和所述太赫兹视频的帧频比例系数和预设特征点的轨迹速度曲线，确定所述可见光视频和所述太赫兹视频的时间映射关系包括：