[发明专利]一种基于动作和面部表情的人物交互关系识别方法

摘要

本发明公开了一种基于动作和面部表情的人物交互关系识别方法，包括人体交互行为识别过程、人脸面部表情识别及交互人物关系挖掘。在人体交互行为识别过程中，使用基于个体分离的识别分类技术，采用先分离后融合的特征融合方法有效提升交互行为识别精度。在人脸面部表情识别过程中，采用基于深度卷积网络的特征抽取方法获得具有鲁棒性的人脸特征，然后使用概率分布函数实现人脸表情分类。最后结合人物的交互动作及交互时的表情，提取出了交互双方的行为语义关系。本发明可以有效的根据发生交互动作时的行为及双方面部表情判断出两者的社会行为关系，在社会安全领域具有实际应用价值。

主权项

1.一种基于动作和面部表情的人物交互关系识别方法，其特征在于，包括以下步骤：步骤1：使用基于个体分割的方式实现交互行为识别分类；具体实现包括以下子步骤：步骤1.1：将公开交互行为数据集拆分为训练集与验证集，并使用水平翻转、像素变化等方法对训练数据进行扩充，以保证训练结果的泛化性；步骤1.2：对于每一条输入的视频序列，使用随机缩放、随机裁剪并加以正则化约束的方法完成数据预处理过程，并以处理完成的数据作为训练网络的输入；步骤1.3：针对步骤1.2中得到的视频序列，检测并追踪视频帧中的交互个体，得到相关交互人物在相应视频帧中的边界框，根据获得的边界框实现交互人物个体的视频段分割；步骤1.4：结合步骤1.3中获得的视频段及经步骤1.1处理后的交互行为数据集，实现对交互个体及全局特征的特征表达构建；步骤1.5：对于步骤1.4中得到的交互个体及全局特征的特征表达，预设N类动作类别，使用Softmax概率分类器完成类别分类，并使用交叉熵作为损失函数，通过不断缩小损失函数数值，以此完成训练网络的迭代优化；步骤1.6：重复步骤1.5，直至训练网络至收敛；步骤2：构建深度学习网络，实现基于人脸的面部表情识别；具体实现包括以下子步骤：步骤2.1：将公开人脸表情数据集按对应表情标签完成数据集分类，数据集中共包含生气、开心、恐惧、厌恶、伤心、中性6种表情类型；步骤2.2：对图像中的人脸进行检测与识别，并将检测到的人脸图像统一重塑为设定像素值；步骤2.3：搭建深度卷积神经网络，将步骤2.1中分类完成的数据集作为卷积神经网络的输入；步骤2.4：训练深度卷积神经网络,并对深度卷积神经网络进行循环迭代；步骤2.5：重复步骤2.4，直至深度卷积神经网络收敛；步骤3：融合步骤1及步骤2相关特征，挖掘交互双方的行为语义关系；具体实现包括以下子步骤：步骤3.1：执行步骤1，以实现交互动作的识别分类；步骤3.2：利用步骤2中的人脸表情识别方法，对步骤3.1中发生交互动作个体检测交互双方的面部表情；步骤3.3：根据步骤3.1分类动作，对两者关系进行判别；步骤3.4：重复步骤3.3，得出交互双方的行为语义关系判别。