[发明专利]一种基于双向光流的端到端无监督学习方法

权利要求书

1.一种基于双向光流的端到端无监督学习方法，其特征在于，主要包括基于光流的无监督学习(一)；光流网络架构和计算(二)。

2.基于权利要求书1所述的基于光流的无监督学习(一)，其特征在于，基于光流的无监督学习包括无监督损失和后向扭曲，具体为以下三个方面：

(1)基于双向(即前向和后向)光流估计来设计对称，遮挡感知损失；

(2)使用全面的无监督损失来训练光流网络-C来估计双向光流；

(3)通过堆叠多个光流网络来使用迭代改进；

可选地，还可以使用监督损失来在无监督训练之后对稀疏标定真实数据上的网络进行微调。

3.基于权利要求书2所述的无监督损失，其特征在于，设为两个时间连续的帧；目标是估计从I₁到I₂的光流w^f＝(u^f,v^f)^T；由于遮挡检测还需要反向光流w^b＝(v^b,v^b)^T，所以通过使所有的损耗项对称(即计算两个光流方向)来联合估计双向光流；在这里，将这个想法从基于超像素的设置扩展到一般流场，并将其用作无监督学习中的损失函数；

对于非遮挡的像素，正向光流应该是第二帧中相应像素处的逆向光流的方向；当这两个光流之间不匹配时，将像素标记为遮挡；因此，对于正向遮挡，每当约束(如下式所示)不符合时，将遮挡标志定义为1，否则为0；

|w^f(x)+w^b(x+w^f(x))|²<α₁(|w^f(x)|²+|w^b(x+w^f(x))|²)+α₂ (1)

对于反向遮挡，用相同的方式定义交换w^f和w^b；在所有的实验中设定了α₁＝0.01，α₂＝0.5；为了探索感知遮挡的损失变量，只需要对所有x∈P使用

4.基于权利要求书3所述的感知遮挡，其特征在于，感知遮挡的数据损失定义为：

其中，f_D(I₁(x),I₂(x′))测量两个假定对应的像素x和x′之间的光度差，ρ(x)＝(x²+∈²)^γ是鲁棒的广义的沙博尼耶罚函数，γ＝0.45；为所有被遮挡的像素添加一个常数惩罚λ_p，从而避免所有遮挡像素的平凡解，并且惩罚所有非遮挡像素的光度差；亮度恒常性约束f_D(I₁(x),I₂(x′))＝I₁(x)-I₂(x′)用于测量光度差；由于亮度恒常性不是在现实情况下常见的光照不变，因此改为使用三元Census变换；Census变换可以补偿加法和乘法照明变化以及伽玛变化，从而提供了一个更真实的图像恒定假设。