[发明专利]基于多模态识别的在线人才筛选方法

权利要求书

1.基于多模态识别的在线人才筛选方法，其特征在于，包括以下步骤:

S1：根据面试者提交的自我介绍和指定问题回答的短视频，提取短视频中的音频数据和视频数据；

S2：对所述步骤S1获得的音频数据进行平滑去噪的预处理，对所述预处理后的音频数据提取34类音频特征F_A∈{R^N×34}，并对所述34类音频特征F_A进行归一化处理，构建体现面试者语言表达能力的音频联合特征数据F′_A∈{R^N×34}；

S3：利用非正交主偏度分析特征选择算法对所述S2步骤得到的音频联合特征数据进行特征降维，得到降维后的特征矩阵Y，所述Y为基于音频联合特征；

S4：训练所述基于音频联合特征Y的SVM语言表达能力预测模型；

S5：利用基于YOLO v4训练的头肩检测器对所述步骤S1获得的视频数据中固定帧的头肩区域图像进行裁剪，并对其进行归一化处理，获得多张形象分值图像数据；

S6：利用所述S4步骤得到的归一化后的所述形象分值图像数据训练形象分值预测模型，所述训练基于SSR-Net算法；

S7：利用所述S6步骤得到的形象分值预测模型对所述S1步骤得到的所述短视频的视频进行多帧预测结果求平均人工评分，利用所述S4步骤得到的语言表达能力评分预测模型对所述短视频的音频进行预测求平均人工评分，将两种模型的结果求和则为最终的综合得分。

2.根据权利要求1所述的基于多模态识别的在线人才筛选方法，其特征在于，所述S2步骤为了减少背景噪声的影响，对所述步骤S1获得的音频数据采用均值平滑滤波，得到与处理后的音频数据。

3.根据权利要求1所述的基于多模态识别的在线人才筛选方法，其特征在于，所述S2步骤中用采样频率fs＝16000Hz，计算窗口win＝0.05，计算步长step＝0.05提取34类音频特征F_A∈{R^N×34}。，所述34类音频特征包括：短时平均过零率、能量、能量熵、频谱一阶距、频谱延展度、谱熵、频谱通量、频谱滚降点、梅尔倒谱系数、12级音阶、12级音阶的标准方差。

4.根据权利要求1所述的基于多模态识别的在线人才筛选方法，其特征在于，所述S2步骤对所述34类音频特征F_A∈{R^N×34}进行归一化处理时，对34类音频特征分别做z-score的标准化处理，对标准化的特征进行联合，构建体现面试者语言表达能力的音频联合特征数据F′_A∈{R^N×34}。

5.根据权利要求1所述的基于多模态识别的在线人才筛选方法，其特征在于，为消除音频联合特征之间的冗余信息，并挖掘特征之间的高维信息，采用非正交主偏度分析进行特征降维处理，得到前k个主偏度u的特征转换矩阵U＝[u₁,...,u_k]，根据特征转换矩阵U，可以得到降维后的特征矩阵Y＝F'_AU。

6.根据权利要求1所述的基于多模态识别的在线人才筛选方法，其特征在于，所述S5步骤包括以下步骤：

S51：训练所述基于YOLO v4训练的头肩检测器，限定所述头肩检测器的目标框位置的标定按照矩形框包含所述固定帧的头肩区域图像中头部到胸部以上区域；

S52：对所述S41步骤获得的包括头部到胸部以上区域的头肩区域图像进行112×112归一化处理；

S53：设定2秒采集一次图像，每个视频采集t次，N组视频共采集N*t张形象分值图像数据。

7.根据权利要求1所述的基于多模态识别的在线人才筛选方法，其特征在于，所述S7步骤中，所述形象分值预测模型评分满分总分为50分，所述语言表达能力评分预测模型评分满分总分为50分。

8.根据权利要求1所述的基于多模态识别的在线人才筛选方法，其特征在于，所述形象分值预测模型的评分指标为面容整洁度、精神面貌或着装中的一种或几种；所述语言表达能力评分预测模型评分指标为语言表达。