[发明专利]一种空中飞行物体综合探测识别方法及系统

权利要求书

1.一种空中飞行物体综合探测识别方法，其特征在于，包括如下步骤：

S1、生成时间同步信号；

S2、根据时间同步信号同步采集目标物的视频信息、频谱信息和雷达信息；

S3、对视频信息、频谱信息和雷达信息分别进行特征提取得到视频模态特征、频谱模态特征和雷达模态特征；

S4、对视频模态特征、频谱模态特征和雷达模态特征进行特征融合得到多模态融合数据；

S5、对多模态融合数据与目标比对特征数据库进行比对得到目标物的识别结果。

2.根据权利要求1所述的一种空中飞行物体综合探测识别方法，其特征在于，对视频信息的特征提取方法具体包括：

S311、对视频信息中目标物的角点进行提取，并在角点处提取梯度信息；

S312、使用边界提取LSD提取视频信息中目标物的边界信息；

S313、使用预训练的CNN网络提取视频信息中目标物的图像信息；

S314、提取梯度信息、边界信息、图像信息中的视频原始特征，并进行串联得到视频模态特征。

3.根据权利要求1所述的一种空中飞行物体综合探测识别方法，其特征在于，对频谱信息的特征提取方法具体包括：

S321、去除频谱信息中的高频噪声得到去噪频谱；

S322、使用预训练的频谱信息提取网络对去噪频谱进行提取，得到频谱特征；

S323、使用频谱小波变换模块对去噪频谱提取小波信息；

S323、将频谱特征与小波信息进行串联，得到频谱模态特征。

4.根据权利要求1所述的一种空中飞行物体综合探测识别方法，其特征在于，对雷达信息的特征提取具体方法包括：

S331、对接收到的雷达回波进行去杂波、去噪声处理得到去噪回波；

S332、使用目标轨迹提取网络提取去噪回波信息得到目标物的轨迹信息；

S333、使用回波信息提取模块提取去噪回波信息，并通过多普勒处理，提取目标物的距离和速度信息；

S334、对轨迹信息以及距离和速度信息进行串联得到雷达模态特征。

5.根据权利要求1所述的一种空中飞行物体综合探测识别方法，其特征在于，S4的具体方法包括：

S41、使用先验数据训练多模态特征融合神经网络；

S42、使用多模态特征融合神经网络对视频模态特征、频谱模态特征和雷达模态特征进行特征融合得到多模态融合数据。

6.根据权利要求1所述的一种空中飞行物体综合探测识别方法，其特征在于，多模态融合数据与目标比对特征数据库的比对方法为基于距离的对比。

7.一种空中飞行物体综合探测识别系统，其特征在于，包括

同步模块(25)，用于生成时间同步信号；

采集设备，用于采集目标物的视频信息、频谱信息和雷达信息；

特征提取模块，用于对视频信息、频谱信息和雷达信息分别进行特征提取得到视频模态特征、频谱模态特征和雷达模态特征；

融合模块(241)，用于对视频模态特征、频谱模态特征和雷达模态特征进行特征融合得到多模态融合数据；

判定模块(242)，判定模块(242)用于将多模态融合数据与目标比对特征数据库(243)比对，得到目标物的识别结果。

8.根据权利要求7所述的一种空中飞行物体综合探测识别系统，其特征在于，采集设备包括可见光/热成像子系统(211)、频谱探测子系统(221)和主动雷达子系统(231)；可见光/热成像子系统(211)用于采集目标物的视频信息，频谱探测子系统(221)用于采集目标物的频谱信息，主动雷达子系统(231)用于采集目标物的雷达信息。

9.根据权利要求8所述的一种空中飞行物体综合探测识别系统，其特征在于，可见光/热成像子系统(211)包括可见光相机、制冷或者非制冷热成像相机的其中一种或者两种。

10.根据权利要求7所述的一种空中飞行物体综合探测识别系统，其特征在于，特征提取模块包括视频目标识别与跟踪模块(212)、第一提取模块(213)、频谱分析与处理模块(222)、第二提取模块(223)、雷达信号处理与跟踪模块(232)以及第三提取模块(233)；

视频目标识别与跟踪模块(212)和第一提取模块(213)用于对可见光/热成像子系统(211)采集的视频信息进行特征提取；

频谱分析与处理模块(222)和第二提取模块(223)用于对频谱探测子系统(221)采集的频谱信息进行特征提取；

雷达信号处理与跟踪模块(232)和第三提取模块(233)用于对主动雷达子系统(231)采集的雷达信息进行特征提取。