[发明专利]一种非刚性物体运动结构恢复方法

摘要

本发明公开了一种高性能非刚性物体运动结构恢复方法，基于任意两点之间的相对位置关系的基础上，提出了一种均方相对坐标误差度量函数MSRCE；并在不改变主体算法的基础上，将其完美的嵌入到现有主体方法中去，运用本发明提出的误差度量函数，最终优化目标不仅考虑每一个预测坐标与其真实坐标的关系，还同时考虑了任意两个预测坐标之间的位移矢量的精确度，有助于提高非刚性物体运动结构恢复的精度，解决了传统算法仅用均方误差MSE作为度量函数的缺点；可精确度量不同三维形状直接的误差，实用价值显著，应用广泛。

主权项

一种高性能非刚性物体运动结构恢复方法，其特征在于为提出一种均方相对坐标误差度量函数MSRCE进行恢复，具体包括如下步骤：S1：MSRCE损失函数的定义：首先，假设我们有N个样本，每个样本具有M个需要预测的关键点，每个样本中的预测坐标为而相应的基准坐标为(xni,yni)，其中n＝1,2,...,N是样本索引，i＝1,2,...,M是坐标指数；定义两个符号，即Δnijx和Δnijy来测量样本n的两个坐标i和j之间的相关性，如公式(1)和式(2)，Δnijx=(x^ni-x^nj)-(xni-xnj)---(1)]]>Δnijy=(y^ni-y^nj)-(yni-ynj)---(2)]]>再定义MSRCE损失函数为表达式(3)；MSRCE=12NΣn=1N(Σ1≤i<jM(||Δnijx||22+||Δnijy||22))---(3)]]>根据公式(1)和(2)定义两个点和B(xni‑xnj,yni‑ynj)；公式(3)中的为点A和B的欧氏距离损失；其中，A是两个预测坐标的位移，B是两个真实坐标的位移，如等式(4)和式(5)：A=(x^ni,y^ni)-(x^nj,y^nj)---(4)]]>B＝(xni,yni)‑(xnj,ynj)  (5)等式(3)的目的是衡量任意两个预测坐标的位移与其对应的两个真实坐标的位移之间的误差，即移动点A到点B；当公式(3)达到最优解时，任意两个预测关键点之间的相对位置接近于它们对应的的两个真实关键点之间的相对位置；S2：非刚性物体运动结构恢复NRSFM的基本公式：对于T图像相机的NRSFM问题，n个输入的二维点轨迹在输入矩阵W∈R2T×n中给出；[xt,j,yt,j]T是第t个图像上第j个三维点的二维投影，t＝1,2,...,T,j＝1,2,...,n；为了公式表示无歧义，现在假设：1)W是完备的，意味着在跟踪过程中没有二维点被遮挡；2)其均值列向量t∈R2T已经从所有列中减去，使其为零均值；使用正交投影和以观察到的三维物体为中心的世界坐标系，t给出了所观察到的2D摄像机在每个图像的转变；矩阵分解法模型W＝MS作为两个低秩3K矩阵因子的乘积，其中M∈R2T×3K，S∈R3K×n，因子包括块对角旋转矩阵D∈R2T×3T和形状系数矩阵C∈RT×K；目标是最小化2D重投影误差，e(M)=||W-W*||F2,W*=MS=MM?W---(7)]]>其中，M是模型参数矩阵X∈Rd×K的函数，d是中的低频DCT系数的数量；此外，In是n×n单位矩阵；是两个矩阵的Kronecker乘积；表示A的Moore‑Penrose伪逆；||A||F是Frobenius规范；S3：将MSRCE函数约束用到非刚性物体运动结构恢复任务中：首先定义一个残差矩阵来测量预测和真实值坐标的差异：W‾=W-W*---(8)]]>表示是矩阵的第*列，那么MSRCE函数可以写成如下：因此，最终的优化函数是：L＝e(M)+λLΥ  (10)标量λ用于平衡两个损失函数；为了在统一的框架中用公式(7)进行训练，使用高斯‑牛顿算法来优化公式(9)；计算梯度矩阵G∈R(d*K)×1和Hessian矩阵H∈R(d*K)×(d*K)；方程(9)的一阶导数是：式(9)的二阶导数是：目标是计算和表示两个雅可比矩阵：Ji∈R2T×(d*K)和Jj∈R2T×(d*K)来模拟低阶3K条件下所有变量的导数；梯度矩阵和Hessian矩阵计算如下：G=-Σ1≤i<jn[(Ji-Jj)T(W‾i-W‾j)]---(13)]]>H=Σ1≤i<jn[(Ji-Jj)T)(Ji-Jj)]---(14)]]>当公式(10)达到最优时，即可获得高精度的非刚性物体运动结构恢复结果。