[发明专利]一种基于SOC FPGA的单目航拍图像实时匹配系统

权利要求书

1.一种基于SOCFPGA的单目航拍图像实时匹配系统，其特征在于，包括单目航拍图像采集单元、SOCFPGA实时图像匹配单元、相机数据传输接口、高速数据传输接口、随机存储器和大容量存储器；所述SOCFPGA实时图像匹配单元包括系统监控模块和航拍图像处理模块，所述系统监控模块包括SOCFPGA内PS端中部署的相机参数配置子模块、相机状态监测子模块、模板截取子模块、随机存储器驱动子模块和大容量存储器驱动子模块，所述航拍图像处理模块包括SOCFPGA内PL端中部署的相机驱动子模块、相机数据解算子模块、特征方向计算子模块、模板匹配子模块、变换矩阵计算子模块和片内数据交互子模块；

所述相机驱动子模块用于通过相机数据传输接口读取单目航拍图像采集单元的相机状态参数，并通过片内数据交互子模块传输至相机状态监测子模块；还用于通过片内数据交互子模块读取相机参数配置子模块设置的相机工作参数，产生控制指令通过相机数据传输接口控制单目航拍图像采集单元采集单目航拍序列图像；

所述相机参数配置子模块用于根据相机状态监测子模块内相机状态参数进行相机工作参数设置；

所述相机数据解算子模块用于通过相机数据传输接口接收单目航拍图像采集单元采集的单目航拍序列图像，经解算后将单目航拍序列图像转换为AXI-Stream图像数据流格式，并通过片内数据交互子模块将解算后的单目航拍序列图像数据流经随机存储器驱动子模块存入随机存储器，经大容量存储器驱动子模块存入大容量存储器；

所述特征方向计算子模块用于由片内数据交互子模块通过随机存储器驱动子模块以AXI-Stream图像数据流格式读取随机存储器内单目航拍序列图像中当前帧单目航拍图像，并采用流水线架构流水式处理单目航拍图像，对单目航拍图像进行灰度化、高斯滤波与Sobel滤波操作后，获取单目航拍图像的梯度矩阵，并计算梯度矩阵的乘积与平方差比值作为特征方向正切值矩阵，再通过坐标旋转数字计算方法由特征方向正切值矩阵计算特征方向矩阵，并通过片内数据交互子模块将特征方向矩阵经随机存储器驱动子模块存入随机存储器；

所述模板截取子模块用于通过随机存储器驱动子模块读取随机存储器中当前帧单目航拍图像的特征方向矩阵，并截取特征方向矩阵中N个感兴趣区域作为N个特征模板，将特征模板通过随机存储器驱动子模块逐个存入随机存储器；其中，N为设定值；

模板匹配子模块用于由片内数据交互子模块通过随机存储器驱动子模块读取随机存储器内当前帧单目航拍图像的N个特征模板，采用并行流水线架构并行处理N个特征模板的匹配过程，对于每个特征模板，逐像素计算特征模板与上帧单目航拍图像的特征方向矩阵之间的余弦相似度，搜索余弦相似度的最大值所处的位置作为特征模板的匹配位置，并由片内数据交互子模块通过随机存储器驱动子模块将匹配位置存入随机存储器；

所述变换矩阵计算子模块用于由片内数据交互子模块通过随机存储器驱动子模块读取随机存储器内N个匹配位置，再根据最小二乘法计算出上帧与当前帧单目航拍图像之间的变换矩阵，并由片内数据交互子模块通过随机存储器驱动子模块将变换矩阵存入随机存储器；

所述高速数据传输接口用于根据无人机控制器的处理需求，读取大容量存储器内单目航拍序列图像，或读取随机存储器内特征方向矩阵、特征模板、匹配位置和变换矩阵传输至无人机控制器。

2.根据权利要求1所述的一种基于SOCFPGA的单目航拍图像实时匹配系统，其特征在于，所述相机数据传输接口与SOCFPGA内PL端的引脚直接相连，相机数据传输接口包括串行接口、通用串行总线和以太网口。

3.根据权利要求1所述的一种基于SOCFPGA的单目航拍图像实时匹配系统，其特征在于，所述片内数据交互子模块通过SOCFPGA内AXI-Stream总线完成系统监控模块与航拍图像实时处理模块之间相机状态参数、相机工作参数、单目航拍序列图像、特征方向矩阵、特征模板、匹配位置和变换矩阵的传输。