[发明专利]一种多模态图像同步采集系统及方法

说明书

本发明公开了一种多模态图像同步采集系统及方法，所述系统包括：时间服务器、交换机、多台电脑以及多个不同模态的相机；时间服务器与交换机连接，交换机分别与多台电脑连接，每台电脑均与一个相机连接；时间服务器用于提供高精度、高稳定的标准时间；多台电脑通过同步算法软件实现操作系统时间与标准时间的高精度同步；每个相机通过各自对应的图像采集软件将采集的图像数据发送给对应连接的电脑进行存储；每个相机通过各自对应的图像采集软件在采集和存储每一帧图像的同时记录采集时刻的时间戳；并通过最邻近时间戳实现多模态图像的时间同步。本发明通过高精度时间同步方法，可以实现亚毫秒级的时间同步，满足常规多模态图像同步采集的需求。

技术领域

本发明涉及图像采集技术领域，尤其涉及一种多模态图像同步采集方法、系统、移动终端及计算机可读存储介质。

背景技术

在计算机视觉领域，为获取更完备的视觉信息，常需多种模态的图像信息，例如可见光图像、红外图像、深度图像等。不同模态的图像信息可以相互补充，达到图像融合增强、提供数据集真值等目的。无论是出于图像融合处理还是获取数据集真值的目的，实现多种模态图像的同步采集是重要前提。

由于图像产生原理的不同，不同模态图像获取设备的触发采集方式、数据量、图像帧率等方面也存在巨大差异，相比于同种模态图像采集，多模态获取设备功能的差异极大地增加了同步采集的难度。多模态图像的同步采集可以通过硬件同步或者软件同步的方式；理论上，硬件同步精度要高于软件同步精度，但硬件同步的前提是所有的图像获取设备必须具备硬件触发功能。然而，并不是所有种类的商用相机都具备硬件触发功能，例如常见的Kinect深度相机、ZED双目相机等，软件同步成为类似不具硬件同步功能相机同步采集的唯一选择。通过软件同时触发不同模态相机进行同步采集是最直接的方式，但由于相机是非实时操作系统，不同类型相机启动采集的延时量不同也不稳定，这会导致同步精度非常低，很难满足同步采集需求。如何实现多模态图像高精度时间同步成为同步采集需要解决的核心问题。除此之外，随着成像技术的发展，图像分辨力、帧率也逐渐升高，这也伴随着数据量的增大；因此，高采集带宽也是多模态图像同步采集系统需要同时解决的问题。

因此，现有技术还有待于改进和发展。

发明内容

本发明的主要目的在于提供一种多模态图像同步采集方法、系统、移动终端及计算机可读存储介质，旨在解决现有技术中多模态图像无法实现高度同步以及高采集带宽的问题。

为实现上述目的，本发明提供一种多模态图像同步采集系统，其中，所述多模态图像同步采集系统包括：时间服务器、交换机、多台电脑以及多个不同模态的相机；

所述时间服务器与所述交换机连接，所述交换机分别与多台所述电脑连接，每台所述电脑均与一个所述相机连接；

所述时间服务器用于提供高精度、高稳定的标准时间；

多台所述电脑通过同步算法软件实现操作系统时间与标准时间的高精度同步；

每个所述相机通过各自对应的图像采集软件将采集的图像数据发送给对应连接的所述电脑进行存储；

每个所述相机通过各自对应的图像采集软件在采集和存储每一帧图像的同时记录采集时刻的时间戳；并通过最邻近时间戳实现多模态图像的时间同步。

可选地，所述的多模态图像同步采集系统，其中，多台所述电脑通过所述交换机连接所述时间服务器以实现操作系统时间与标准时间的高精度同步。

可选地，所述的多模态图像同步采集系统，其中，不同模态的相机所使用的图像采集软件不同。

可选地，所述的多模态图像同步采集系统，其中，多台所述电脑分散式采集不同模态的图像。

可选地，所述的多模态图像同步采集系统，其中，所述时间服务器采用带NTP功能的时间服务器。