[发明专利]双目立体匹配FPGA加速器架构、方法及装置

说明书

本发明公开了一种双目立体匹配FPGA加速器架构、方法及装置，属于双目立体视觉领域，包括行缓存模块、初始代价计算模块、Sobel边缘检测模块、代价聚合模块、右视图代价矩阵构建模块、唯一性检测模块、左右一致性检测模块、空洞填充模块以及亚像素插值模块。本发明解决了双目立体匹配存在的精度低、效率差、资源利用率低的问题，提升精度的同时可以保证实时性及运算资源的高效性。

技术领域

本发明涉及双目立体视觉领域，更为具体的，涉及一种双目立体匹配FPGA加速器架构、方法及装置。

背景技术

在人类认知世界的过程中，75％以上的信息是通过人的双眼获得的，通过大脑对双眼获取的信息进行处理和响应。双目立体视觉模仿人类视觉系统，通过两个摄像头同时获取同一场景的两幅图像，并通过对两幅图像的比对和匹配，计算出场景中各个物体的距离和深度信息，从而实现对三维场景的感知和理解。立体匹配广泛应用于三维重建、医学影像、智能驾驶等领域，通过对不同视角下的图像进行匹配，寻找同名点的偏差，完成二维图像到三维深度的重建。由于光照、噪声、遮挡、弱纹理及实时性要求等原因，匹配的精度易受影响。匹配结果直接作用于深度恢复，使得立体匹配成为立体视觉系统中的最关键问题。

在实际的匹配系统中，仍然存在着许多问题。目前的难点和重点包括低纹理区域匹配难度大，遮挡问题，噪声与复杂度问题，光照和颜色变化等问题。这些问题主要是由光学图像在纹理、光照、噪声和遮挡的不确定性和复杂性造成。需要在立体匹配的各个环节进行优化以提高匹配结果的准确性和鲁棒性。

鉴于双目立体视觉的广泛应用前景和诸多待解决问题，对双目立体匹配的难点进行优化以获得鲁棒性更佳的匹配算法，同时进行算法移植得到实时性、吞吐率、解算精度平衡的硬件加速平台仍是很大的挑战。

发明内容

本发明的目的在于克服现有技术的不足，提供一种双目立体匹配FPGA加速器架构、方法及装置，解决了双目立体匹配存在的精度低、效率差、资源利用率低的问题，提升精度的同时可以保证实时性及运算资源的高效性。

本发明的目的是通过以下方案实现的：

一种双目立体匹配FPGA加速器架构，包括：

行缓存模块、初始代价计算模块、Sobel边缘检测模块、代价聚合模块、右视图代价矩阵构建模块、唯一性检测模块、左右一致性检测模块、空洞填充模块以及亚像素插值模块；

将行缓存数据送入初始代价计算模块以及Sobel边缘检测模块，在初始代价计算模块完成初始匹配代价的计算，Sobel边缘检测模块完成灰度边缘信息计算；初始匹配代价以及灰度边缘信息进入各路径的代价聚合模块，各路径的代价聚合模块结果求和得到最终的匹配代价；

通过唯一性检测模块获得左图整型视差，利用右视图代价矩阵构建模块构建右图的匹配代价矩阵获得右图的整型视差；

将获得的视差数据送入左右一致性检测模块和空洞填充模块进行处理，利用亚像素插值模块进行亚像素插值后得到最终视差。

进一步地，还包括级联FIFO模块，在数据输入后，通过级联FIFO实现行缓存，实现一个7x7的窗口的构建；所述级联FIFO模块具体包括如下运行过程：每帧开始，第一行像素根据行有效信号写入FIFO 0；第二行像素写入FIFO 0的同时，将FIFO 0中的数据读出写入FIFO 1；第三行像素写入FIFO 0的同时，将FIFO 0中的数据读出写入FIFO 1，FIFO 1的数据写入FIFO 2；重复此过程，等到第七行从端口输入时，即得到7行同时输出的像素。

进一步地，所述初始代价计算模块包括Census变换模块、汉明Hamming距离计算模块；将行缓存数据送入Census变换模块，利用Census变换模块将Census变换结果数据送入汉明Hamming距离计算模块，加权完成匹配代价的计算。