[发明专利]基于Census算法的匹配代价计算电路结构及其工作方法

说明书

本发明公开了一种基于Census算法的匹配代价计算电路结构及其工作方法，包括：第一阶段，双目相机的左右相机拍摄得到的原始的左右图像像素值，间隔指定周期进入缓存模块进行缓存；第二阶段，对左右图像进行窗口内部处理，来自缓存模块的数据信息进入窗口模块，在指定周期内处理并输出；第三阶段，初始代价求取及优化，经窗口处理模块得到的数据进入计算模块在指定周期内完成初始代价求取和初始代价的比特串位数优化，最后由输出模块拼接输出。本发明提供的基于Census算法的匹配代价计算电路结构及其工作方法，计算过程涉及了加减法和异或等运算，电路中也主要使用了加法器、减法器、异或等电路结构，实现图像及视频数据变换过程简单，可以降低片上资源消耗。

技术领域

本发明属于图像、视频处理技术领域，具体涉及一种对图像、视频进行预处理的基于Census算法的匹配代价计算电路结构及其工作方法。本发明可用于对高清图像、视频进行实时处理的立体匹配系统。

背景技术

随着计算机视觉的快速发展，人们对视频分辨率的要求越来越高，视频分辨率朝着4K(3840×2160)和8K(7680×4320)超高清方向发展。立体匹配是立体视觉中关键的一部分，立体匹配是一种从平面图像中恢复拍摄的目标物体的深度信息的技术。

双目立体视觉在充分理解并分析人类视觉系统工作原理的基础之上，结合现有的技术手段，利用摄像机和计算机来模拟人类视觉系统。其基本原理是：首先采用在不同位置上的两个或多个摄像机对同一目标进行拍摄，从不同的视角获得二维图像；空间点在所得到的图像中的位置偏差根据像素匹配来计算；最后根据所得到的位置偏差利用三角测量原理来进行三维重建。立体匹配主要包括求初始匹配代价计算、代价聚合、视差计算和视差优化。

立体匹配技术的发展日新月异，随着匹配算法精度与速度的提高，其应用场景进一步扩大。Census算法是计算初始代价的一种方法，是立体匹配系统中的重要一部分，针对高清图像、视频的立体匹配系统，如何在实际的使用中做到更低的成本，关键在于如何降低片上资源消耗；只有有效地控制片上资源消耗，才能保证更好的应用于工程实践中。

Census区域匹配算法是属于非参数区域算法的一种，Census变换是基于邻域灰度比较而并非灰度本身，因此基于Census变换的区域匹配算法对增益和亮度偏差等现象比较鲁棒，而且Census变换保留了邻域像素的位置信息，具有很好的匹配效果。基于Census算法的匹配代价计算硬件电路结构主要包括原始的左右图像的缓存；对左右图像进行窗口内部处理；初始代价求取及优化三个阶段。上一阶段的输出作为下一个阶段的输入，缓存的像素值数据输出给窗口模块，左右图像窗口计算出比特串输出给下一阶段计算并优化初始代价。Census变换是一种用于局部立体匹配的非参数变换，变换过程简单，只用到了加减法和异或等运算，控制Census变换部分的资源消耗对立体匹配系统整体资源管控有着重要意义。

发明内容

本发明的目的是设计一种低资源消耗的基于Census算法的匹配代价计算电路结构及其工作方法，用于求取初始代价，以支持高清图像、视频的双目立体匹配工作及三维重建工作。

有鉴于此，本发明提供了一种基于Census算法的匹配代价计算电路结构，包括：

缓存模块，包括由随机存取存储器构成的左图像缓存模块和右图像缓存模块，实现对双目相机的左右相机拍摄得到的左右图像的像素值的缓存；

进一步的，左图像缓存模块和右图像缓存模块结构相同，包括并列连接的指定数量的随机存取存储器，该指定数量值为不小于2的偶数。

进一步的，左图像缓存模块中的随机存取存储器深度小于右图像缓存模块中的随机存取存储器的深度。

窗口处理模块，包括由窗口阵列组成的左图像处理模块，以及右图像处理模块和对应的移位缓存模块，对应处理左图像缓存模块和右图像缓存模块中的像素值得到新的比特串输出；