[发明专利]基于多视角间共性特性挖掘的多任务动作识别方法

摘要

本发明公开了一种基于多视角间共性特性挖掘的多任务动作识别方法，实现了对基于多视角动作识别的不同视角间内在共性和特性的挖掘。具体包含以下步骤：(1)视频预处理及特征提取和融合，(2)数据的构建及视角间相似度矩阵的构建，(3)多视角间共性特性挖掘的多任务学习正则项制定及模型构建，(4)基于视角间共性特性挖掘的多任务动作识别模型构建，(5)基于特征投影的多任务动作识别。本发明的优点是通过将视角看作任务，充分挖掘任务(视角)间内在的共有特征和特有特征，使得从一个任务学习到的信息被其余任务所利用，实现人体动作的高效识别。

主权项

1.一种基于多视角间共性特性挖掘的多任务动作识别方法，用于充分挖掘多视角间的内在共性和特性关联，以实现高效率的动作识别，其特征在于该方法具体包含以下步骤：/n第1步、视频预处理及特征提取和融合/n第1.1步、由于从设备中采集的深度数据包括许多空洞，所以需要使用修补算法修补空洞；且连续的数据需要手动的标记单个动作的开始点与结束点来分割数据，消除了不相关的插入帧后，完整的动作实例将会被提取出来；/n第1.2步、为彩色图像和深度图像分别提取HOGHOF特征和CCD特征，对两种特征进行融合并保存对应的结果；/n第2步、数据的构建和视角间相似度矩阵的构建/n第2.1步、定义和概念/n考虑一组用以描述动作的R个相关视角，将每个视角看作一个任务，每一个任务都是一个具有C个动作类别的多类别分类问题，对于每一个任务t＝1,2,...,R，给定一个训练集其中，N_t表示第t个任务的总样本数，是一个表示第t个任务中第n个动作样本的d维特征向量，是指示第t个任务中第n个动作样本的类别成员的标签，对于每一个任务t，定义一个特征矩阵x_t∈IR^Nt×d，以及标签矩阵y_t定义如下：/n /n连接所有R个任务的特征矩阵x_t和标签矩阵y_t得到特征矩阵X＝[x₁′,...,x_R′]′，X∈IR^N×d和标签矩阵Y＝[y₁′,...y_R′]′，Y∈IR^N×CR，其中表示R个任务的总样本数；以上各式中，x₁′表示矩阵x₁的转置，[x₁′,...,x_R′]′表示矩阵[x₁′,...,x_R′]的转置，其它含义类似；/n第2.2步、视角间相似度/n由于从相邻视角间观察到的动作的相似度要高于相隔较远的视角间动作的相似度，且为了保证从一个任务中学习到的知识能被其余任务所利用，因此，通过指定一个矩阵来定义一个模拟不同视角即任务间动作相似度的图形结构即相似度矩阵，其具体的定义公式如下：/n /n其中/n /n其中，v、w和h指代的是视角即任务，c指代的是第c个动作类别，p、q分别表示的是在第v和第w个视角即任务中属于第c个动作类别的样本数；表示的是第v个任务中属于第c个动作类别的第i个动作样本的特征向量，表示的是第w个任务中属于第c个动作类别的第j个动作样本的特征向量，γ_vw∈IR^1×C是一个向量，表示的是第v和第w个视角间各个动作的相似度，其中越大的值代表不同视角即任务间指定动作拥有越大的相似度，其中，γ_vw(1,c)表示的是第v和第w个视角间第c个动作类别之间的相似度；/n第3步、多视角间共性特性挖掘的多任务学习正则项制定及模型构建/n为了充分挖掘视角间的内在关系以及每个视角间的共性和特性，将权重矩阵分解为两项之和的形式，即C和S，矩阵C模拟任务即视角之间的共同特征，矩阵S模拟各个任务即视角的特有特征，因此，构建模型如下：/n /n其中，λ_c、λ_s和λ是标量常数，用于控制其对应项的贡献程度，Y表示训练集标签，X表示训练集提取完特征的矩阵，矩阵C＝[c₁′,...c_R′]′∈IR^d×CR是通过学习任务即视角间的共有特征得到的变换矩阵，矩阵S＝[s₁′,...s_R′]′∈IR^d×CR是通过学习各个任务即视角的特有特征得到的变换矩阵，M是从第2.2步中得到的视角间相似度矩阵；/n第4步、基于视角间共性特性挖掘的多任务动作识别模型构建/n在第3步获得的变换矩阵C和S的基础上，对单个任务的训练和测试样本进行表征，其具体的模型如下：/n /n其中，表示的是第t个任务即视角的原始训练样本，表示的是第t个任务的原始训练样本经由变换矩阵(c_t+s_t)投影到C维输出空间后的训练样本，表示的是第t个任务即视角的原始测试样本，表示的是第t个任务的原始测试样本经由变换矩阵(c_t+s_t)投影到C维输出空间后的测试样本，c_t和s_t分别表示第t个任务即视角的变换矩阵，C表示动作类别数；/n第5、基于特征投影的多任务动作识别/n根据将第4步中获得的通过变换矩阵投影表征后位于同一空间的每个任务测试、训练样本共同送进k最近邻分类算法，并设置合适的参数k，进行分类，将最后得到的结果判断为该测试样本对应的动作类别。/n