[发明专利]基于多模态识别的在线人才筛选方法

说明书

本发明提供基于多模态识别的在线人才筛选方法，根据面试者提交的自我介绍和指定问题回答的短视频的音频数据和视频数据；对音频数据进行平滑去噪、34类特征提取和归一化处理后，构建体现语言表达能力的音频联合特征数据并进行特征降维，训练并得到基于获得的音频联合特征Y的SVM语言表达能力预测模型；对视频数据中头肩区域图像进行裁剪、归一化后得到的形象分值图像数据训练基于SSR‑Net算法形象分值预测模型，最终基于语言表达能力模型和形象分值预测模型计算的综合得分。本发明提供的方法通过对应聘人的一段自我介绍和指定问题的回答音视频信息，可以为在海量简历中快速的定位、发现目标人才的技术手段和初步人才评估的提供参考。

技术领域

本发明属于利用音视频信息进行人工智能人力资源管理方法的技术领域，具体涉及一种个人形象结合音视频信息的多模态识别预测模型的在线人才筛选方法。

背景技术

招聘是人力资源管理中重要的工作之一，其中简历筛选是招聘的第一环节，目前利用网络招聘平台获取简历已经是人力资源管理人员经常使用的方式。一方面，简历的信息较多，传统逐个查看的方式效率低下，缺乏对简历进行有效的量化评价，匹配不精确；另一方面，模板化的简历只是对应聘者做基本信息以及工作经验等方面纸质性的描述，不能展示应聘者的外观形象以及语言表述能力，更甚者还存在着虚假的成分。如何从海量的简历中快速有效的筛选出理想的人才，仍是目前亟待解决的问题。

随着互联网技术和人工智能的飞速发展，将人工智能技术应用在线人才的筛选也越来越成为一种趋势。现有的研究中，多是通过应聘者上传一段自我介绍和特定问题回答的短视频做微表情识别，以此来分析应聘者的表达能力和回答问题的真实性。然而，仅通过微表情的变化来分析是片面的。数据统计表明，应聘者整洁的面容形象和说话的声调、语速、表达能力与工作能力具有一定的正相关性。

因而，充分的挖掘音视频信息，将应聘者的整体形象结合语音信息和个人形象构建多模态的人才评价模型，提供用于在海量简历中快速的定位、发现目标人才的技术手段。

发明内容

本发明针对上述缺陷，为了解决面对海量简历，提供基于多模态识别的在线人才筛选方法，本发明提供的方法通过对应聘者自我介绍和指定问题回答的视频里挖掘音视频信息和个人形象信息，结合SVM语言表达预测模型和SSR-Net形象预测模型，快速的得到应聘者量化的综合评估。

本发明提供如下技术方案：基于多模态识别的在线人才筛选方法，包括以下步骤:

S1：根据面试者提交的自我介绍和指定问题回答的短视频，提取短视频中的音频数据和视频数据；

S2：对所述步骤S1获得的音频数据进行平滑去噪的预处理，对所述预处理后的音频数据提取34类音频特征F_A∈{R^N×34}，并对所述34类音频特征F_A进行归一化处理，构建体现面试者语言表达能力的音频联合特征数据F′_A∈{R^N×34}；

S3：利用非正交主偏度分析特征选择算法对所述S2步骤得到的音频联合特征数据进行特征降维，得到降维后的特征矩阵Y，所述Y为基于音频联合特征；

S4：训练所述基于音频联合特征Y的SVM语言表达能力预测模型；

S5：利用基于YOLO v4训练的头肩检测器对所述步骤S1获得的视频数据中固定帧的头肩区域图像进行裁剪，并对其进行归一化处理，获得多张形象分值图像数据；

S6：利用所述S4步骤得到的归一化后的所述形象分值图像数据训练形象分值预测模型，所述训练基于SSR-Net算法；

S7：利用所述S6步骤得到的形象分值预测模型对所述S1步骤得到的所述短视频的视频进行多帧预测结果求平均人工评分，利用所述S4步骤得到的语言表达能力评分预测模型对所述短视频的音频进行预测求平均人工评分，将两种模型的结果求和则为最终的综合得分。