[发明专利]一种基于自动编码器和DTW的手绘图人体运动检索方法

权利要求书

1.一种基于自动编码器和DTW的手绘图人体运动检索方法，其特征在于，具体按照以下步骤实施：

步骤1：使用相应设备拍摄单目视频，拍摄速度为30帧每秒，构建有N个类别的动态人体运动序列数据库V⁽¹⁾＝(V₁⁽¹⁾,…,V_N⁽¹⁾)及M个类别人体运动骨架手绘图序列数据库V⁽²⁾＝(V₁⁽²⁾,…,V_M⁽²⁾)；

步骤2：提取动态人体运动序列数据库V⁽¹⁾的每帧图像，得到帧图像F_i＝(f_i1,...,f_in)，其中n表示动态人体运动序列数据库V⁽¹⁾的帧数，对f_ij进行预处理，通过背景差分和肤色模型获取出f_ij中运动轮廓，通过人体骨架提取法获得运动骨架；

步骤3：通过系统学习获取基于模糊c-均值聚类的代表性帧图像数据库D_RF；

步骤4：代表性帧图像数据库D_RF通过使用自动编码器提取人体骨胳运动图像特征；

步骤5：应用画板手绘预查询的人体运动序列，首先应用自动编码器提取手绘图序列特征，进而应用模糊聚类获取手绘图运动序列代表帧应用DTW算法计算RF^X和代表性帧图像数据库D_RF距离，根据相似距离顺序排序，输出最优运动检索结果；

所述的步骤2具体按照以下步骤实施：

(21)使用Kinect获取人体运动的RGB彩色与深度图像，去除RGB彩色与深度图像噪声，并对其进行图像校正处理；

(22)根据彩色图像背景的复杂程度采用不同方法去除背景，获得前景彩色图像；

(23)基于前景彩色图像且依据肤色模型对脸部及手部进行定位并将脸部及手部定位质心作为初始获取的关节点；

(24)基于学习得到的贝叶斯分类器对彩色图像前景中的运动人体进行部件分类识别；

(25)依据分类识别结果判定肢体各刚体结构部位类别，再根据各刚体部件的连接关系确定出各关节点，依次连接各关节点形成平面人体骨架，结合各个关节点深度数据将平面骨架变换成三维立体骨架；

所述的步骤3具体按照以下步骤实施：

(31)给定运动序列{F_i}_i＝1:n，其中n是帧数，使用模糊c-均值FCM聚类方法生成代表性帧；

(32)基于帧图像F_i＝(f_i1,...,f_in)聚类获取运动序列代表性的帧RF⁽¹⁾_i＝(rf₁⁽¹⁾,…,rf_k⁽¹⁾)，并对V⁽²⁾手绘图数据库进行聚类处理，获得手绘图关键帧图像RF⁽²⁾_j＝(rf₁⁽²⁾,…,rf_k⁽²⁾)，然后总的代表帧可以表示为RF＝{rf_k}_k＝1:c，其中rf_k对应于第k个聚类中心；

(33)所有视频运动类别及手绘图所对应的代表性帧图像共同组成人体运动代表性帧图像数据库D_RF＝{RF⁽¹⁾_i,RF⁽²⁾_j}；

所述的步骤4具体按照以下步骤实施：

(41)假设自动编码器的输入为x，首先，该编码器将原始信号x映射到特征信号z中：

z^(e)＝h^(e)(W^(e)x+b^(e))

其中“(e)”是指神经网络编码层，h^(e)是传递函数，W^(e)是加权矩阵，b^(e)是偏置向量；

(42)解码器将特征信号z映射返回到估计中：

其中“(d)”表示第d网络层，h^(d)是解码器的传递函数，W^(d)是权重矩阵，b^(d)是偏置向量；

(43)建立一个代价函数来描述输入，表示为x，与其重建之间的误差输出，表示为并需要控制误差的值最小

其中代价函数E由3部分组成，第1部分是均方误差，第2部分l*W_weights是L₂正则化，第3部分b*W_sparsity是稀疏正则化，L₂正则化系数为l，稀疏正则化系数为b，如果让L₂正则化是：

其中L,n,k分别是训练数据中的隐层数，观测数和变量数，添加一个正则化来激励稀疏项，将第i个神经元激活措施定义为：

其中n是训练样本数，x_j是第j个训练样本，w_i^(1)T和b_i⁽¹⁾分别是W⁽¹⁾的第i行，偏移向量，接下来，利用Kullback Leibler发散呈现稀疏正则化：

当r_i和相等，Kullback Leibler发散是0，否则，由于它们彼此偏离，发散是较大的。

2.根据权利要求1所述的一种基于自动编码器和DTW的手绘图人体运动检索方法，其特征在于，所述的步骤5具体按照以下步骤实施：

(51)DTW的目的是比较两个序列和RF^Y＝(rf₁^Y,…,rf_c^Y)之间的相似性，让整体匹配代价为C_p(RF^X,RF^Y)：

C_P(RF^X,RF^Y)＝[d_DTW(rf_i^X,rf_j^Y)]_c×c

在RF^X和RF^Y之间的一个规整路径p，被定义为本地代价度量，而d_DTW(rf_i^X,rf_j^Y)是rf_i^X与rf_j^Y，i,j＝1,…,c，之间的DTW，设定rf_i^X和rf_j^Y是t维向量，并且rf_i^X＝(x₁,…,x_t)和rf_j^Y＝(y₁,…,y_t)，rf_i^X和rf_j^Y之间的DTW是：

(52)RF^X和RF^Y之间的最佳规整路径是在所有可能的规整路径中具有最小总成本的规整路径然后定义RF^X和RF^Y之间的距离是的总成本：

(53)为了确定最优路径使用动态规划获得最优路径，累积成本矩阵D满足以下等式：

且n∈[1:c],D(1,m)＝∑^m_k＝1 d_DTW(rf₁^X,rf_k^Y)有m∈[1:c],和：

D(n,m)＝min{D(n-1,m-1),D(n-1,m),D(n,m-1)}+d_DTW(rf_n^X,rf_m^Y)，

最终优化DTW的距离是：