[发明专利]一种多模态分析的视频面试评估方法、装置和存储介质

权利要求书

1.一种多模态分析的视频面试评估方法，其特征在于，包括以下步骤：

接收应聘具体岗位的面试者在面试时的短视频；

提取短视频中的音频数据和视频数据；

通过提取音频数据的梅尔频率倒谱系数做为基于语音分析的表达能力评估模型的输入，得到基于语音分析的表达能力评估得分S₁；

通过对视频数据进行分析，作为个人基础属性的职业匹配模型、形象职业度评估模型、动作分析的人格评估模型的输入，分别得到基于个人基础属性的职业匹配度得分S₂，形象职业度得分S₃和基于动作分析的人格评估得分S₄；

通过基于语音分析的表达能力评估得分S₁、基于个人基础属性的职业匹配度得分S₂、形象职业度得分S₃和基于动作分析的人格评估得分S₄，求和得到综合的岗位匹配度得分S。

2.如权利要求1所述的多模态分析的视频面试评估方法，其特征在于，

所述基于语音分析的表达能力评估模型，通过以下步骤训练得到：

先对音频数据进行均值平滑滤波的预处理；

依据设定的采样频率fs，计算窗口win，计算步长step，提取音频数据的梅尔频率倒谱系数特征；

通过人工评定的标签和对应的梅尔频率倒谱系数特征训练基于语音分析的LSSVM表达能力评估模型。

3.如权利要求1所述的多模态分析的视频面试评估方法，其特征在于，

个人基础属性的职业匹配模型建立在性别和年龄的基础上；所述基于个人基础属性的职业匹配度得分S₂，通过以下步骤获得：

通过多任务卷积神经网络对视频流关键帧进行人脸检测，得到人脸框和人脸关键点，基于人脸关键点做人脸对齐并标准化裁剪；将标准化的人脸图片输入基于SSR-Net的性别和年龄预测模型，得到多个关键帧的平均预测年龄和预测性别分别代入到对应的个人基础属性的职业匹配模型中得到职业匹配度得分得分和分别为年龄和性别的分值权重。

4.如权利要求1所述的多模态分析的视频面试评估方法，其特征在于，

形象职业度评估模型建立在穿着和头部仪容的基础上；所述形象职业度得分S₃，通过以下步骤获得：

b1)首先训练基于CenterMask的穿着和头部实例分割模型；

b2)通过基于CenterMask的穿着和头部实例分割模型对视频流关键帧进行头部和衣着区域分割；并对背景图像做像素值[255，255，255]填充；

b3)以各自最大边界框对头部和衣着图像分别进行裁剪并归一化；

b4)依据人工评定的标签值将归一化后的头部和衣着图像分别训练基于SSR-Net的形象职业度评估模型；

b5)将归一化后的头部和衣着图像分别输入基于各自属性训练的SSR-Net形象职业度评估模型，得到多关键帧的平均头部形象职业度得分和衣着形象职业度得分依据两者的权重分值综合得到形象职业度分值和分别为头部和衣着的分值权重。

5.如权利要求1所述的多模态分析的视频面试评估方法，其特征在于，

动作分析的人格评估模型建立在微表情变化和姿态变化的基础上；所述基于动作分析的人格评估得分S₄，通过以下步骤获得：

微表情变化以预设单位时间内出现点头、摇头、闭眼、嘴巴开合变化的次数作为动作依据；通过3DDFA_V2算法识别每间隔预设时长内，短视频中面试者的多个人脸关键点；依据眼睛、嘴巴对应的人脸关键点中最大外部轮廓的长宽比变化作为指标，相邻两帧图像中所述长宽比的变化大于设定阈值则认为出现闭眼、嘴巴开合动作；依据人脸关键点计算头部的姿态估计，相邻两帧图像中头部的角度变化大于设定阈值则认为出现点头、摇头动作；

姿态变化以预设单位时间内出现手触碰嘴巴、鼻子、耳朵、头的次数作为动作依据；当手部坐标与人脸关键点中对应嘴巴、鼻子、耳朵或头部位的坐标的欧式距离满足小于设定阈值时，则认为出现相应动作；

依据心理学释义分配对应岗位在微表情变化和姿态变化上的权重分值，得到基于动作分析的人格评估分值S₄。