[发明专利]一种基于神经辐射场的立体视频视差控制与编辑方法

权利要求书

1.一种基于神经辐射场的立体视频视差控制与编辑方法，其特征在于，操作步骤如下：

步骤1：利用输入视图的序列帧，构建4D时空动态神经辐射场，对场景中的静动态对象分别处理后合成；

步骤2：在步骤1构建的4D神经辐射场中，自适应精准控制视差，通过立体渲染生成新视图；

步骤3：在步骤1构建的4D神经辐射场中，分离局部对象并修改该对象视差，经过立体渲染后实现局部视差编辑后的新视图。

2.根据权利要求1所述的基于神经辐射场的立体视频视差控制与编辑方法，其特征在于，所述步骤1的具体操作步骤如下：

1-1：对于视频中每一帧图像将屏蔽运动区域的静态部分的3D位置坐标与观察方向作为输入，经过两个级联的多层感知机MLP预测，得到一个在三维空间中颜色与密度均连续的场态作为该场景的隐式表达；对连续场态分为等距的多个层取值，在给定的相机模型下计算来自每个像素位置的模拟光线，并在该场态模拟光线跟踪，与分层辐射场的交点经过数值积分方式得到渲染图中的像素颜色值与累积透明度，从而得到当前帧k的重建颜色值，渲染得到该视点下的新颖视图；

1-2：在对静态场景训练时通过最小化当前帧每个像素的重建颜色值与真实值之间的差异不断优化结果，得到MLP的最终权重；

1-3：在表达动态场景时，采用了双向场景流计算每个像素位置在当前时刻的前后时刻的偏移量，用于表示时域上场景的扭曲程度，从而利用包含当前帧及其前后时刻图像在内的3个视角共同训练模型；同时还利用模型预测当前时刻的混合权重，用于表示动静态场景在某一像素位置的组合权重分配。

3.根据权利要求1所述的基于神经辐射场的立体视频视差控制与编辑方法，其特征在于，所述步骤2的具体操作步骤如下：

2-1：首先基于视觉显著性确定需要调整视差的对象，并为其添加蒙版；

2-2：继而在神经辐射场中指定深度间距进行分层渲染，并在计算累积颜色与透明度的同时对深度值逐层积分，当显著蒙版内深度不断累加趋于稳定时，则认为该渲染层所在深度为最佳零视差平面所在深度；

2-3：得到零视差平面的深度值后，基于离轴平行式模型能够进一步确定光轴平移程度和相机基线a的关系函数；

2-4：基于Shibata舒适区理论，根据当前视距、瞳距与屏幕分辨率等观看条件，通过控制正负视差最大值在合理范围，进一步确定具体相机基线与镜头平移量，实现自适应的视差控制模型。

4.根据权利要求1所述的基于神经辐射场的立体视频视差控制与编辑方法，其特征在于，所述步骤3的具体操作步骤如下：

3-1：对场景内容进行分析，根据观看者的视觉注意点为局部对象添加蒙版，根据该蒙版确定了目标在图像中的2D边界盒；

3-2：在分层神经辐射场中对深度值累计积分，当蒙版区域内深度值开始累积时与区域稳定并达到阈值时，认为该层所在深度为局部编辑对象的3D包围盒的近远深度，由此确定目标对象的3D包围盒，实现神经辐射场中的局部对象提取；

3-3：在体积渲染阶段，对全场景进行光线追踪时，对包围盒内部光线沿着水平方向扭曲，从而实现对局部对象与剔除局部对象的背景分别进行视差控制，局部对象水平视差放大或缩小的效果，从而强化场景中显著对象的立体感。