[发明专利]一种多模态分析的视频面试评估方法、装置和存储介质

说明书

本发明提供一种多模态分析的视频面试评估方法，包括以下步骤：接收应聘具体岗位的面试者在面试时的短视频；提取短视频中的音频数据和视频数据；通过提取音频数据的梅尔频率倒谱系数做为基于语音分析的表达能力评估模型的输入，得到基于语音分析的表达能力评估得分；通过对视频数据进行分析，作为个人基础属性的职业匹配模型、形象职业度评估模型、动作分析的人格评估模型的输入，分别得到基于个人基础属性的职业匹配度得分，形象职业度得分和基于动作分析的人格评估得分；通过、和，求和得到综合的岗位匹配度得分。本发明可实现海量视频简历中进行快速筛选，提高招聘效率。

技术领域

本发明涉及视频面试技术领域，尤其是一种多模态分析的视频面试评估方法。

背景技术

面试作为企业人才招聘过程中必经的一个环节，通过组织者的精心设计，包含一轮面试甚至多轮面试，在不同的阶段设定不同的场景，通过面对面的交谈与观察为主要手段，对面试者做由表及里的知识、能力、经验等有关素质的评测。对于求职者而言，传统的当面面试方法缺乏灵活性，尤其是对异地求职者的求职难度则更甚。对于企业而言，不同的面试阶段需要安排特定的面试官，在经济成本和时间成本上都存在着较大的弊端。

随着互联网技术和5G等技术的飞速发展，视频面试逐渐成为当下的一种应聘趋势。同时，将人工智能技术对视频面试者进行初步分析(包括基本属性、衣着职业度、动作分析和语音分析等)，用以判断对当前求职岗位的职业符合程度的量化结果，作为一种人力资源的评估维度。并实现从海量的面试者中快速找到适合岗位的人才，提高人力资源的效率。

发明内容

本发明的目的在于解决当前在招聘时效率低、缺乏灵活性、对招聘者和面试者互动形式依赖度高等问题，提供一种多模态分析的视频面试评估方法和装置，可实现海量视频简历中进行快速筛选，作为一种面试初审的参考，有效提高人力资源在人才招聘时的效率。

作为本发明的第一方面，本发明实施例提出一种多模态分析的视频面试评估方法，包括以下步骤：

接收应聘具体岗位的面试者在面试时的短视频；

提取短视频中的音频数据和视频数据；

通过提取音频数据的梅尔频率倒谱系数做为基于语音分析的表达能力评估模型的输入，得到基于语音分析的表达能力评估得分S₁；

通过对视频数据进行分析，作为个人基础属性的职业匹配模型、形象职业度评估模型、动作分析的人格评估模型的输入，分别得到基于个人基础属性的职业匹配度得分S₂，形象职业度得分S₃和基于动作分析的人格评估得分S₄；

通过基于语音分析的表达能力评估得分S₁、基于个人基础属性的职业匹配度得分S₂、形象职业度得分S₃和基于动作分析的人格评估得分S₄，求和得到综合的岗位匹配度得分S。

进一步地，所述基于语音分析的表达能力评估模型，通过以下步骤训练得到：

先对音频数据进行均值平滑滤波的预处理；

依据设定的采样频率fs，计算窗口win，计算步长step，提取音频数据的梅尔频率倒谱系数特征；

通过人工评定的标签和对应的梅尔频率倒谱系数特征训练基于语音分析的LSSVM表达能力评估模型。

进一步地，个人基础属性的职业匹配模型建立在性别和年龄的基础上；所述基于个人基础属性的职业匹配度得分S₂，通过以下步骤获得：