[发明专利]基于深度卷积神经网络的自由视点视频生成及交互方法

摘要

本发明公开了一种基于深度卷积神经网络的自由视点视频生成及交互方法。具体步骤包括：利用配套搭建的多相机阵列同步拍摄系统对目标场景进行多视点数据的采集，获得多视点下的同步视频帧序列组，然后批量进行像素级别的基线校准；利用设计训练好的深度学习卷积神经网络模型，通过编码和解码网络结构，对每组输入视点图像进行特征提取，获得场景的深度特征信息，结合输入图像分别生成每一个时刻的每一组相邻物理视点之间的虚拟视点图像；将所有视点按时刻以及视点的空间位置通过矩阵拼接的方式合成自由视点视频帧。本发明方法无需进行相机标定以及深度图的计算，很大程度上降低了虚拟视点生成的计算量，并且一定程度提升了虚拟视点图像质量。

主权项

1.基于深度卷积神经网络的自由视点视频生成及交互方法，其特征在于，包括如下步骤：/n(1)校准采集系统中相机的姿态和颜色/n采集系统包括N个相机，相机按照圆弧均匀排列，相机的高度保持一致；在位于圆弧圆心处，对相机的姿态位置进行参照物校准，校准完成后固定相机位置保持不变；通过灰色世界白平衡算法对N个相机参数进行颜色校准；/n(2)使用采集系统的相机阵列对目标场景对象进行同步视频序列拍摄，选取某一时刻视频帧，对N-1组相邻视点依次进行基线校准，获取N-1个图像仿射变换矩阵M