[发明专利]一种基于人脸识别技术的自动编目方法

说明书

技术领域

本发明涉及广播电视系统的素材数据编辑及处理领域中，侧重于在广电网络系统中，重点在数字视音频产业领域的应用，特别涉及一种基于人脸识别技术的自动编目方法。

背景技术

随着电视制作技术的发展、普及，在节目制作过程中通常要对采集所获得的多媒体素材进行预处理，对其中的语音信息进行识别获得相应的编目信息，特别在体育类节目、新闻类节目、访谈类节目、综艺类节目占有率越来越高的情况下。对节目的人工编目费时费力。同时，这类节目以关键人物作为特定画面，如：体育明星、国家领导人、节目主持人、男女主播等等相对人员比较固定，计算机自动分析人脸固有的生物特征信息作为视频的初级编目信息将大量节省人工编目工作。现有技术中以上的人员信息不能从音频文件中直接获得，需要从其他途径获取，现有技术中通常采用人工对视频内容进行识别的方法，人工需要根据播出画面在编目文件中插入人名信息，但在需要进行大量人工识别的情况下，根据人物画面对编目信息的生成和操作需要投入大量的人力物力，而且由于是人为参与，也会由于人为因素影响到编目素材的制作质量与效率。

在发明人实现本发明过程中，发现现有技术中有以下缺陷，现有技术中在需要将人物信息加入编目文件编辑时需要人工根据不同的人物画面对人物信息进行识别，之后对相应的编目文件进行编辑，因此，对编目文件的制作质量及工作效率均依赖人工的操作，费时费力，在耗费了大量系统资源的同时，无法获取良好的编目文件制作效果。

发明内容

针对现有技术中的缺陷，本发明解决了无法通过视频文件进行编目文件生成及编辑的问题。

为了解决以上技术问题本发明提供了一种基于人脸识别技术的自动编目方法，具体包括：

接收人脸素材库，所述人脸素材库具体包括：人脸画面信息及人脸素材文本信息；

接收多媒体文件，所述多媒体文件包括：视频文件及音频文件；

根据所述视频文件获取关键帧记录及与之对应的关键帧数据画面；

根据所述关键帧数据画面获取关键帧人脸画面；

根据所述关键帧人脸画面查询所述人脸素材库人脸画面信息获取匹配人脸素材文本信息；

根据所述关键帧记录对所述音频文件进行语言识别获取关键帧编目文本；

根据所述关键帧记录在所述关键帧编目文本中合并所述人脸素材文本信息，获取编目文件。

其中，所述接收人脸素材库步骤前还具体包括：建立人脸素材库。

其中，所述建立人脸素材库步骤中具体包括：接收人脸素材，所述人脸素材通过人脸素材关键字标识，在单一人脸素材中包括：多角度素材、情感类表情素材及说话类表情素材；根据所述人脸素材关键字及对应的人脸素材建立人脸素材库。

其中，所述建立人脸素材库步骤中具体包括：接收人脸素材三维模型，所述人脸素材三维模型包括：人脸控制点模型信息及与其对应的人脸素材三维模型文本信息；根据所述人脸素材三维模型建立人脸素材库。

其中，所述人脸画面信息还具体包括亮度信息属性。

其中，根据所述关键帧数据画面获取关键帧人脸画面步骤中具体包括：

根据所述关键帧数据画面获取拍摄角度信息、拍摄亮度信息、情感类表情素材和/或说话类表情素材信息；根据所述关键帧数据画面进行抠取人脸图像处理获取关键帧人脸画面；根据所述拍摄角度信息、拍摄亮度信息、情感类表情素材和/或说话类表情素材信息获取关键帧人脸画面信息。

其中，所述根据所述关键帧人脸画面查询所述人脸素材库人脸画面信息获取匹配人脸素材文本信息步骤具体包括：根据所述关键帧人脸画面及所述关键帧人脸画面信息查询所述人脸素材库人脸画面信息获取匹配人脸素材文本信息。

其中，所述人脸素材文本信息具体包括：人名信息。

其中，所述根据所述关键帧人脸画面查询所述人脸素材库人脸画面信息获取匹配人脸素材文本信息步骤中具体包括：根据所述关键帧人脸画面获取人脸控制点模型信息；根据所述人脸控制点模型信息查询所述人脸素材库人脸素材三维模型获取匹配人脸素材三维模型文本信息。

其中，所述人脸控制点模型信息具体包括：人脸边界控制点模型信息及人脸五官控制点模型信息。

其中，所述根据所述视频文件获取关键帧记录及与之对应的关键帧数据画面步骤具体包括：接收拍摄亮度信息；根据所述拍摄亮度信息调整所述视频文件；根据调整后视频文件获取关键帧记录及与之对应的关键帧数据画面。

其中，所述获取编目文件后还具体包括：根据所述编目文件获取字幕文件；播控系统根据所述字幕文件进行播放。