[发明专利]自适应图片裁剪融合方法、系统、计算机设备及介质

说明书

本发明提供的自适应图片裁剪融合方法、系统、计算机设备及介质，方法包括以下步骤：获取视频文件，从所述视频文件中提取得到文本内容、音频内容以及视频关键帧；对所述文本内容进行自然语言分析，根据分析结果生成语义标签；根据所述音频内容进行音频匹配，根据匹配结果结合音频知识图谱生成音频标签；根据所述视频关键帧进行内容预测生成内容标签；根据所述语义标签、所述音频标签以及所述内容标签对所述视频文件进行剪裁，将剪裁后的素材进行融合得到目标视频，方案提高了内容预测速率，节省了人工成本，提高了短视频应用的便捷性并且具有更广阔的应用场景可，广泛应用于视频处理技术领域。

技术领域

本发明涉及视频处理技术领域，尤其是自适应图片裁剪融合方法、系统、计算机设备及存储介质。

背景技术

目前，相关技术的主要针对长视频(时间超过60秒以上)进行视频分类标签标注，一般通过分析视频的内容来完成短视频标签标注，主要分为以下2种场景：其一、通过人工编辑方式，人工审核整个视频内容，结合主观判断与理解，为视频标注分类标签；其二、通过AI识别技术，针对视频内容本身出现的帧进行人脸，场景，物体识别，提取对应类的标签，例如明星，食物，图书馆等。

但是，由于人工编著的分类标签进行分类的方式，属于劳动密集型工作，要求编辑人员拥有较高的审美能力及耐心，因此，人工标注的方式往往存在效率低，速度慢，标签质量主观性大，且视频帧覆盖率低等问题。此外，部分相关技术采用AI识别标注的方式，但AI识别标注的方式无法应用于存在着太多干扰画面的应用场景，适用范围有限。并且相关技术中AI识别标注的方式所能进行识别标注的目标主体有限，因此还存在着有效性不够的问题。

发明内容

有鉴于此，为至少部分解决上述技术问题之一，本发明实施例目的在于提供一种适用性广且识别目标主体覆盖全面的自适应图片裁剪融合方法；与此同时，本申请技术方案还提供能够对应实现该方法的系统、计算机设备及计算机可读写的存储介质。

一方面，本申请技术方案提供了自适应图片裁剪融合方法，方法包括以下步骤：

获取视频文件，从所述视频文件中提取得到文本内容、音频内容以及视频关键帧；

对所述文本内容进行自然语言分析，根据分析结果生成语义标签；

根据所述音频内容进行音频匹配，根据匹配结果结合音频知识图谱生成音频标签；

根据所述视频关键帧进行内容预测生成内容标签；

根据所述语义标签、所述音频标签以及所述内容标签对所述视频文件进行剪裁，将剪裁后的素材进行融合得到目标视频。

在本申请方案的一种可行的实施例中，所述根据所述语义标签、所述音频标签以及所述内容标签对所述视频文件进行剪裁这一步骤，包括：

确定标签集合中各个标签的标签权重值，所述标签集合包括所述语义标签、所述音频标签以及所述内容标签；

根据所述标签权重值生成标签序列，根据所述标签序列以及序列中各个标签的置信度对所述视频文件标注标签信息。

在本申请方案的一种可行的实施例中，所述文本内容包括描述文本以及字幕文本；所述对所述文本内容进行自然语言分析，根据分析结果生成语义标签这一步骤，包括：

从所述视频文件中提取得到所述描述文本，对所述描述文本进行格式化处理得到第一格式化信息；

从所述视频文件中提取得到所述字幕文本；

对所述第一格式化信息以及所述字幕文本进行自然语言处理得到关键实体矩阵；

将所述关键实体矩阵输入语义预测模型，根据模型预测结果确定所述语义标签。