[发明专利]指令列表生成

说明书

一种用于生成包括像素坐标列表的有序指令列表的系统和方法，像素坐标是参考输入图像(33’；图11)的条带(50)中的三角形(51)在源坐标系(30；图11)中的顶点(53)，使得顶点到目标坐标系(32；图11)中的对应输出图像(33；图10)的变换导致三角形被映射到图像数据块(47)，图像数据块映射到行存储器的块(或“纹理缓存”)。该方法包括：在目标坐标系中将参考输出图像划分为多个拼接部分(35；图11)。该方法包括：对于每个部分，通过将部分划分为行存储器的块来限定部分中像素(46)的条带(50)的阵列的第一边界和第二边界。该方法包括：对于每个条带，将被包含在每个条带中的每个像素集划分为一系列有序三角形，为条带中每个三角形的每个顶点生成目标坐标和源坐标的集，以及将顶点(53)在源坐标系和目标坐标系(30，32)中的坐标存储在有序指令列表中。

技术领域

本发明涉及生成有序指令列表，诸如用于基于纹理映射的图像失真校正的显示列表。

背景技术

机动车辆越来越多地配备有能够馈送实时视频的多个摄像机系统，其可用于在驾驶或停车时辅助车辆驾驶员。例如，用例包括用于道路标志检测、道路车道检测、停车车道标记和行人检测等的前部摄像机或环绕视图。广角或鱼眼镜头通常与这些系统一起使用，以利用单个摄像机尽可能捕获最宽的视野。然而，使用这些类型的镜头拍摄的图像是失真的，使它们难以解释和/或处理。例如，在机动车辆上使用的许多视觉和后处理算法依赖于“相同比例”的对象，以确定到行人的距离。优选地实时执行图像失真校正。图像失真校正的示例可以在JP2009267603A中找到。

纹理映射可以用于校正图像失真。镜头失真校正可以是“标准”直线投影镜头(消除与完美纠正的图像的偏差)和图像纠正(对于“鱼眼(FishEye)”镜头尤其重要，其与标准镜头相比通常具有不同的投影)的形式。附加地，可以应用不同的映射，例如圆柱映射，以及不同的投影，例如通常使用3D“碗”或图像平面的“3D”投影或环绕视图(“人类视觉”)。对于某些任务(例如全景重建)，只有失真校正可以应用于某些镜头，而没有纠正。

纹理映射涉及在失真校正的多边形网格与变形的多边形网格之间执行变换。源坐标系中变形的网格的多边形的顶点的纹理坐标在未失真的目标坐标系中被分配了相应的坐标。这些坐标以及关联的命令被存储为有序指令列表。指令的有序集可以采用显示列表的形式。显示列表可以包括命令代码和数据，其可以包括写入寄存器(“寄存器设置”)、同步(诸如缓存刷新、中断和IP间同步等)和三角形命令(后面是N个坐标)。

可以在线(即在运行时期间)或离线生成有序指令列表(诸如显示列表)，在线可以实时或接近实时发生。生成的时间可以取决于用例或供应商。例如，用于前部摄像机的显示列表可以每隔几分钟或几十分钟重新生成，以调整由于热应力和道路影响等而引起的镜头失真的变化。有序指令列表可以用于确定新的失真图像的哪些像素要加载到缓存存储器中，并映射到未失真的图像中。

图像数据可以使用缓存行存储器来处理。图像的区域按需(即在缓存未命中时)加载到缓存行存储器中，或它们可以被预加载。区域由硬件隐式地(implicitly)加载。例如，硬件可以请求(u、v)坐标中的纹理数据，映射到2×16个各256字节的缓存行。

在某些示例中，不使用多路缓存，并且不存在随机替换。可以执行纹理映射功能，并且存储输出图像的未失真的区域。纹理映射的示例可以在US2015/0254820A1中找到。

然而，将纹理映射图像数据存储在缓冲存储器中可能具有一个或多个缺点。源缓存未对准可能是一个问题，尤其是对于高失真镜头(例如，广角镜头)。例如，如果多边形条带跨越图像的多个区域(即，线)，其映射到纹理缓存中的非常相同的缓存线，则可能发生缓存损坏。这可能超出内存带宽，导致过度的性能损失。

发明内容