[发明专利]双目立体匹配FPGA加速器架构、方法及装置

权利要求书

1.一种双目立体匹配FPGA加速器架构，其特征在于，包括：

行缓存模块、初始代价计算模块、Sobel边缘检测模块、代价聚合模块、右视图代价矩阵构建模块、唯一性检测模块、左右一致性检测模块、空洞填充模块以及亚像素插值模块；

将行缓存数据送入初始代价计算模块以及Sobel边缘检测模块，在初始代价计算模块完成初始匹配代价的计算，Sobel边缘检测模块完成灰度边缘信息计算；初始匹配代价以及灰度边缘信息进入各路径的代价聚合模块，各路径的代价聚合模块结果求和得到最终的匹配代价；

通过唯一性检测模块获得左图整型视差，利用右视图代价矩阵构建模块构建右图的匹配代价矩阵获得右图的整型视差；

将获得的视差数据送入左右一致性检测模块和空洞填充模块进行处理，利用亚像素插值模块进行亚像素插值后得到最终视差。

2.根据权利要求1所述的双目立体匹配FPGA加速器架构，其特征在于，还包括级联FIFO模块，在数据输入后，通过级联FIFO实现行缓存，实现一个7x7的窗口的构建；所述级联FIFO模块具体包括如下运行过程：每帧开始，第一行像素根据行有效信号写入FIFO 0；第二行像素写入FIFO0的同时，将FIFO 0中的数据读出写入FIFO 1；第三行像素写入FIFO 0的同时，将FIFO 0中的数据读出写入FIFO 1，FIFO 1的数据写入FIFO 2；重复此过程，等到第七行从端口输入时，即得到7行同时输出的像素。

3.根据权利要求1所述的双目立体匹配FPGA加速器架构，其特征在于，所述初始代价计算模块包括Census变换模块、汉明Hamming距离计算模块；将行缓存数据送入Census变换模块，利用Census变换模块将Census变换结果数据送入汉明Hamming距离计算模块，加权完成匹配代价的计算。

4.根据权利要求1所述的双目立体匹配FPGA加速器架构，其特征在于，所述初始代价计算模块包括SAD计算模块；对SAD计算模块右图的输入进行延迟处理，再分别输入给不同的SAD计算模块，再将汉明距离和SAD计算值进行加权，得到完整的视差空间。

5.根据权利要求3所述的双目立体匹配FPGA加速器架构，其特征在于，所述Census变换模块设置为模块复用，即只使用一个Census变换模块，来缓存Census变换的结果。

6.一种双目立体匹配FPGA加速器架构的运行方法，其特征在于，该方法基于权利要求1～5中任一项所述的双目立体匹配FPGA加速器架构，所述Sobel边缘检测模块完成灰度边缘信息计算，包括子步骤：利用Sobel算子处理图像，选取行缓存过程的中间三行结合一个3×3的寄存器阵列得到Sobel卷积运算所需的3×3的图像窗口，并在构造寄存器阵列时选取7行中居中的三行，将3×3的图像模板和Sobel算子模板进行卷积，卷积为矩阵间的乘加操作，用移位操作替代乘法器的实用；对于有符号数加法部分，使用比较的方式将有符号数运算替代为无符号数运算。

7.根据权利要求6所述的双目立体匹配FPGA加速器架构的运行方法，其特征在于，所述代价聚合模块，包括运行如下步骤：将一致性检测和视差提取合为一个步骤，并利用级联比特比较器结构在完成唯一性检测的同时提取视差。

8.根据权利要求6所述的双目立体匹配FPGA加速器架构的运行方法，其特征在于，所述空洞填充模块，运行如下步骤：对于空洞点(x,y)，左侧的有效视差在像素流顺序上会先于目标点，使用一级寄存器进行左侧视差寄存，若输入的视差非0则更新寄存器的值，否则保持原值；对于右侧视差，对视差进行寄存操作，以获取右侧的有效视差。

9.根据权利要求6所述的双目立体匹配FPGA加速器架构的运行方法，其特征在于，所述左右一致性检测模块，运行如下步骤：在视差范围内进行对应点视差的选择，对于连续的遮挡区域和误匹配区域，利用仲裁加选择器的方式选择。

10.一种双目立体匹配FPGA加速器架构的装置，其特征在于，包括如权利要求1～5中任一项所述的双目立体匹配FPGA加速器架构。