[发明专利]用于体积图像对齐和着色的跨光谱特征检测

说明书

公开了对体积图像进行对齐和着色，包括：使用至少一个扫描仪捕获强度数据；使用强度数据生成强度图像，其中强度图像包括场景中的至少一个特征，该至少一个特征包括样本特征；使用至少一台相机捕获图像数据，其中图像数据包括颜色信息；使用图像数据生成相机图像，其中相机图像包括样本特征；将强度图像中的样本特征与相机图像中的样本特征进行匹配以对齐强度图像与相机图像；并通过将颜色信息应用于对齐的强度图像来生成彩色图像。

技术领域

本公开涉及图像对齐和着色，并且更具体地，涉及用于体积图像对齐和着色的跨光谱特征检测。

背景技术

用于视频制作、演播室环境或虚拟制作的视频系统可以使用激光扫描仪和彩色摄影的组合来再现场景。该再现操作可以包括手动使用图像对齐程序来匹配彩色照片和从激光扫描生成的强度图像之间的点。然而，在两幅图像中定义和匹配对应点的手动操作非常繁琐，并且需要很长时间来处理。

发明内容

本公开提供了体积图像对齐和着色。

在一种实施方式中，公开了一种用于图像对齐和着色的方法。该方法包括：使用至少一个扫描仪捕获强度数据；使用强度数据生成强度图像，其中强度图像包括场景中的至少一个特征，该至少一个特征包括样本特征；使用至少一台相机捕获图像数据，其中图像数据包括颜色信息；使用图像数据生成相机图像，其中相机图像包括样本特征；将强度图像中的样本特征与相机图像中的样本特征进行匹配以对齐强度图像与相机图像；并通过将颜色信息应用于对齐的强度图像来生成彩色图像。

在一种实施方式中，其中至少一个扫描仪包括至少一个LIDAR扫描仪。在一种实施方式中，由至少一个LIDAR扫描仪捕获的强度数据是3-D强度图像。在一种实施方式中，该方法还包括在3-D强度图像上应用颜色信息。在一种实施方式中，该方法还包括从3-D强度图像生成2-D强度图像。在一种实施方式中，至少一台相机包括至少一台HDR相机。在一种实施方式中，由至少一个HDR相机捕获的相机数据是2-D彩色照片。在一种实施方式中，使用图像数据生成相机图像包括对图像数据进行曝光叠加和颜色校正以生成相机图像。在一种实施方式中，该方法还包括：在强度图像中生成一个或多个控制点；并接收对强度图像和相机图像的对齐的调整。在一种实施方式中，该方法还包括：对相机图像中的任何镜头畸变进行校正；并接收对强度图像和相机图像的对齐的调整。

在另一实施方式中，公开了一种用于对体积图像进行对齐和着色的系统。该系统包括：用于捕获强度数据的至少一台扫描仪；用于捕获图像数据的至少一台相机，该图像数据包括颜色信息；和用于执行以下操作的处理器：使用捕获的强度数据生成强度图像，其中强度图像包括场景中的至少一个特征，至少一个特征包括样本特征；使用图像数据生成相机图像，其中相机图像包括样本特征；将强度图像中的样本特征与相机图像中的样本特征进行匹配以对齐强度图像与相机图像；并通过将颜色信息应用于对齐的强度图像来生成彩色图像。

在一种实施方式中，至少一台扫描仪包括至少一台LIDAR扫描仪。在一种实施方式中，由至少一台LIDAR扫描仪捕获的强度数据是3-D强度图像。在一种实施方式中，至少一台相机包括至少一台HDR相机。在一种实施方式中，该系统还包括用于从处理器接收强度图像和相机图像、进行匹配和对齐，并将结果发送回处理器的云集群。

在另一实施方式中，公开了一种存储用于对体积图像进行对齐和着色的计算机程序的非暂时性计算机可读存储介质。计算机程序包括使计算机执行以下操作的可执行指令：使用多个相机捕获视频数据；捕获强度数据；使用强度数据生成强度图像，其中强度图像包括场景中的至少一个特征，该至少一个特征包括样本特征；捕获图像数据，其中图像数据包括颜色信息；使用图像数据生成相机图像，其中彩色图像包括样本特征；将强度图像中的样本特征与相机图像中的样本特征进行匹配以对齐强度图像与相机图像；并通过将颜色信息应用于对齐的强度图像来生成彩色图像。