[发明专利]一种基于DSP的多级协同异源异构图像融合系统和方法

说明书

本发明涉及一种基于DSP的多级协同异源异构图像融合系统和方法，该图像融合方法，包括：步骤1：DSP模块对接收的至少两个原始图像进行多种像素级融合处理，得到多个像素融合图像；步骤2：利用TCP协议将像素融合图像以及原始图像传输至嵌入式AI设备；步骤3：利用配置在嵌入式AI设备上的训练完成的目标识别网络，对像素融合图像以及原始图像进行目标识别，得到每个图像对应的识别结果，识别结果包括目标识别框以及目标分类结果；步骤4：利用TCP协议将识别结果传输至DSP模块，进行决策级图像融合处理，得到原始图像对应的最终识别结果。本发明的图像融合方法，可以规避使用单一的融合方法导致的错误，使得识别结果更加精准。

技术领域

本发明属于遥感图像处理技术领域，具体涉及一种基于DSP的多级协同异源异构图像融合系统和方法。

背景技术

图像融合是使用各种算法将两个或两个以上同时相的图片融合在一起的技术方案。融合结果由于能利用两幅或多幅图像在时空上的相关性及信息上的互补性，并使得融合后得到的图像对场景有更全面、清晰的描述，从而更有利于人眼的识别和机器的自动探测。现存的图像融合方法包括像素级、特征级和决策级。像素级以像元为基准对图片进行融合，特征级则是提取出各自的特征进行融合，决策级融合是在每种图片完成决策信息后进行融合。从像素级到特征级到决策级，所需图片质量依次降低，但容错率愈来愈高，系统开放性也越好。

目前的图像融合方法在算法实现方面，多为像素级融合方法，对图片的质量要求很高，且是否可以完备获取图像的信息，依赖于后续的算法是否符合当前的融合图像。且不同的融合算法都存在各自的优点和缺点，因此某些算法可能只适用于某些图像，对于另一些图像就会起到反作用。在硬件实现方面，现有的图像融合方法都没有在移动设备上实现，在应用场景上会受到不同的限制。在如今现存的硬件实现方案中，单一DSP(DigitalSignal Processor，数字信号处理器)或多个DSP方案，存在合理分配任务的问题。DSP+FPGA方案，存在DSP和FPGA之间的通讯和数据传输问题。大规模FPGA方案，存在合理利用FPGA内部资源分配的问题。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于DSP的多级协同异源异构图像融合系统和方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种基于DSP的多级协同异源异构图像融合方法，包括：

步骤1：DSP模块对接收的至少两个原始图像进行多种像素级融合处理，得到多个像素融合图像；

步骤2：利用TCP协议将所述像素融合图像以及所述原始图像传输至嵌入式AI设备；

步骤3：利用配置在嵌入式AI设备上的训练完成的目标识别网络，对所述像素融合图像以及所述原始图像进行目标识别，得到每个图像对应的识别结果，所述识别结果包括目标识别框以及目标分类结果；

步骤4：利用TCP协议将所述识别结果传输至DSP模块，进行决策级图像融合处理，得到原始图像对应的最终识别结果。

在本发明的一个实施例中，所述原始图像为多光谱图像、高光谱图像、雷达图像、近红外图像或三通道彩色原图像。

在本发明的一个实施例中，步骤1包括：

DSP模块对接收的至少两个原始图像进行图像配准和去噪处理后，利用多种像素级融合处理方法进行像素级融合处理，得到多个像素融合图像。

在本发明的一个实施例中，所述像素级融合处理方法为losed-pansharp融合方法，guided-pansharp融合方法，his-pansharp融合方法，mmp-pansharp融合方法，PCA融合方法，P+XS融合方法，小波变换融合方法，GS-NIR融合方法和GS-RGB融合方法中的至少两种。