[发明专利]编码装置、编码方法、解码装置和解码方法

说明书

本公开内容涉及能够生成高准确度的三维模型的编码装置、编码方法、解码装置和解码方法。三维模型生成单元基于多个拍摄图像和有源深度信息生成指示被拍摄体的三维模型的三维模型信息，转换处理单元通过从多个方向投影三维模型信息所指示的三维模型将三维模型转换为多个二维图像，并且使用多个二维图像生成指示从任意限定的视点到三维模型的深度的深度信息。包括多个二维图像、深度信息和有源深度信息的传输数据被传输到解码装置。该技术适用于例如自由视点视频传输系统。

技术领域

本公开内容涉及编码装置、编码方法、解码装置和解码方法，并且具体地涉及能够生成更准确的三维模型的编码装置、编码方法、解码装置和解码方法。

背景技术

用于生成三维模型的常规方法使用前景图像与背景图像之间的差异来生成剪影图像，并且将体积相交应用于来自多个视点的剪影图像以重构视觉外壳(相交的区域)。

例如，专利文献1公开了一种重构三维模型的方法，其中，使用从多个视点的被拍摄体剪影图像通过体积相交重构的视觉外壳被反复地进行整形，直到视觉外壳的整形收敛。

引用列表

专利文献

专利文献1：日本专利申请特开第2012-208759号

发明内容

本发明要解决的问题

现在，如上所述，在使用前景图像与背景图像之间的差异生成剪影图像时前景色和背景色相似的情况下，颜色的差异小，使得难以生成一些情况下的准确的剪影图像。因此，将体积相交应用于这样的剪影图像导致生成准确度低的三维模型。

鉴于这样的情况作出本公开内容，并且本公开内容旨在能够生成更准确的三维模型。

问题的解决方案

根据本公开内容的第一方面的编码装置包括：三维模型生成单元，其基于通过从多个视点对被拍摄体进行成像而获得的多个拍摄图像以及指示从与多个拍摄图像的视点不同的视点到被拍摄体的距离的有源深度信息，生成表示被拍摄体的三维模型的三维模型信息；转换处理单元，其通过从多个方向投影由三维模型信息表示的三维模型将三维模型转换为多个二维图像，并且通过使用多个二维图像生成表示从任意视点到三维模型的深度的深度信息；以及传输单元，其将包括多个二维图像和深度信息的传输数据传输到解码装置。

根据本公开内容的第一方面的编码方法包括：基于通过从多个视点对被拍摄体进行成像而获得的多个拍摄图像以及指示从与多个拍摄图像的视点不同的视点到被拍摄体的距离的有源深度信息，生成表示被拍摄体的三维模型的三维模型信息；通过从多个方向投影三维模型将由三维模型信息表示的三维模型转换为多个二维图像，并且通过使用多个二维图像生成表示从任意视点到三维模型的深度的深度信息；以及将包括多个二维图像和深度信息的传输数据传输到解码装置。

在本公开内容的第一方面中，基于通过从多个视点对被拍摄体进行成像而获得的多个拍摄图像以及指示从与多个拍摄图像的视点不同的视点到被拍摄体的距离的多条有源深度信息来生成表示被拍摄体的三维模型的三维模型信息，通过从多个方向投影由三维模型信息表示的三维模型将三维模型转换为多个二维图像，通过使用多个二维图像生成表示从任意视点到三维模型的深度的深度信息，并且将包括多个二维图像和深度信息的传输数据传输到解码装置。

根据本公开内容的第二方面的解码装置包括：接收单元，其接收包括多个二维图像和深度信息的所传输的传输数据，其中，基于通过从多个视点对被拍摄体进行成像而获得的多个拍摄图像以及指示从与多个拍摄图像的视点不同的视点到被拍摄体的距离的有源深度信息生成表示被拍摄体的三维模型的三维模型信息，并且通过从多个方向投影由三维模型信息表示的三维模型将三维模型转换为多个二维图像，通过使用多个二维图像生成表示从任意视点到三维模型的深度的深度信息；以及三维数据转换处理单元，其将多个二维图像和深度信息转换为表示被拍摄体的三维模型的三维模型信息。