[发明专利]一种基于神经辐射场的立体视频视差控制与编辑方法

说明书

本发明涉及一种基于神经辐射场的立体视频视差控制与编辑方法。首先，引入具有时域双向流的神经辐射场，生成新视角的动态视频场。其次，能够根据观看条件与视频场景特性，自适应精准计算理想视差，生成立体效果显著且视觉舒适的立体视频。最后，在基于神经辐射场的立体渲染过程中实现了对单个对象视差的重编辑。与现有技术对比，在图像重建质量指标上该方法获得了综合性能最高。同时，该框架获得了较低的视疲劳指数，和包含有正负两种视差的立体感。实验采集了10位非专业观众和10位专业影视工作者对该方法的结果的反馈，分别从立体感、舒适度和局部视差编辑效果三个角度，证明了我们的框架在3D电影制作中优化视觉体验和艺术性表达的价值。

技术领域

本发明涉及立体视频转制领域，特别涉及一种基于神经辐射场的立体视频视差控制与编辑方法。

背景技术

3D立体显示技术发展至今已经有非常长的时间，随着立体显示设备的普及和发展，立体内容的需求不断攀升，而立体转制是3D内容生成的重要手段之一。

现有的立体转制方法可以分为手动转制、传统转制和基于学习的转制三种。其中，手动转制的可操控性最强，但该流程需要的耗费大量时间与人力，同时对操作的艺术家有一定经验要求。传统立体转制需要从图像线索中提取深度，或人为绘制深度图，存在深度图估计不准确的问题。基于深度学习的方法是目前的研究热点，具体可分为双阶段法与单阶段法。双阶段法需要单目深度估计与缺失像素补绘两个阶段，训练步骤繁琐，且转制依赖于从单目视频中估计的深度图，难以实现精准的视差控制；而图像补绘阶段还不能很好地利用3D信息，使其合成纹理不能够符合真实物理规律，在构建立体效果时，会因为左右视图存在差异而产生3D眩晕等视疲劳现象。单阶段自动立体转制是立体转制最理想的解决方案，但其过程中的可操控性不足，且获取大量3D影片数据的难度较大，限制了该研究的进一步发展。

视差控制存在以下三个挑战，一是视差计算不精确，为了能够控制视差匹配不同的显示器尺寸与观看距离，以应对3D显示设备多样性，视差自适应控制问题迫切需要解决，这需要立体转制流程具备较强的视差精准控制能力。二是视疲劳现象，转制电影在舒适度方面常为人所诟病，为了减少视觉疲劳，需要在视差控制中添加舒适区范围约束。三是局部视差编辑，为了迎合艺术效果，转制方法应能够具备局部视差编辑的能力，例如显著对象带来的强烈立体冲击感，生成效果上舒适而非物理上正确的立体视频。直接对深度图处理来实现深度控制的方法，通常会产生对象形变和孔洞的现象，一类方法在扭曲过程中通过添加多种约束保持所选对象结构，但该类方法依赖于深度图。

发明内容

本发明针对以上问题，提出了一种基于神经辐射场的立体视频视差控制与编辑方法，充分利用了神经辐射场的属性可编辑特性，实现了视差可精准控制的高质量视角合成；同时该方法能够根据观看条件和场景属性，自适应地生成具有高视觉舒适度的立体视频；最后，该方法还实现了局部视差的重新编辑，能够获得更优的局部视差艺术效果。

该方法将输入视频视为左视图，首先利用输入视频的连续多帧视图构建动态神经辐射场，同时根据观看条件计算自适应视差，从而控制神经辐射场中虚拟相机渲染指定新视角，经过体积渲染得到右视图渲染结果。为了能够适应视频视差编辑的需求，该方法采用分层立体渲染的方式，实现了神经辐射场中指定对象的分离，进而实现了对视频局部对象的视差控制。

为达到上述目的，本发明采用如下技术方案：

一种基于神经辐射场的立体视频视差控制与编辑方法，操作步骤如下：

步骤1：利用输入视图的序列帧，构建4D时空动态神经辐射场，对场景中的静动态对象分别处理后合成；

步骤2：在步骤1构建的4D神经辐射场中，自适应精准控制视差，通过立体渲染生成新视图；

步骤3：在步骤1构建的4D神经辐射场中，分离局部对象并修改该对象视差，经过立体渲染后实现局部视差编辑后的新视图。

进一步地，所述步骤1的具体操作步骤如下：