[发明专利]基于多模态识别的在线人才筛选方法

摘要

本发明提供基于多模态识别的在线人才筛选方法，根据面试者提交的自我介绍和指定问题回答的短视频的音频数据和视频数据；对音频数据进行平滑去噪、34类特征提取和归一化处理后，构建体现语言表达能力的音频联合特征数据并进行特征降维，训练并得到基于获得的音频联合特征Y的SVM语言表达能力预测模型；对视频数据中头肩区域图像进行裁剪、归一化后得到的形象分值图像数据训练基于SSR‑Net算法形象分值预测模型，最终基于语言表达能力模型和形象分值预测模型计算的综合得分。本发明提供的方法通过对应聘人的一段自我介绍和指定问题的回答音视频信息，可以为在海量简历中快速的定位、发现目标人才的技术手段和初步人才评估的提供参考。