[发明专利]基于人工智能的生成视频评论的方法及设备

权利要求书

1.一种基于人工智能的生成视频评论的方法，包括：

确定视频库中与待评论视频相似的相似视频集；

获取所述相似视频集的历史评论集；以及

基于所述相似视频集的历史评论集，利用相关性模型，生成所述待评论视频的视频评论；

其中，用于训练所述相关性模型的样本集包括与所述相似视频集中的第一相似视频相关的正样本和与所述第一相似视频不相关的负样本，所述与第一相似视频相关的正样本为所述第一相似视频的历史评论，所述与所述第一相似视频不相关的负样本为所述相似视频集中的第二相似视频的历史评论，所述第一相似视频和所述第二相似视频之间的相似度小于相似度阈值。

2.如权利要求1所述的基于人工智能的生成视频评论的方法，其中，所述确定视频库中与待评论视频相似的相似视频集包括：

获取所述待评论视频的多模态深度表示向量；

基于所述待评论视频的多模态深度表示向量，确定视频库中与所述待评论视频相似的相似视频集。

3.如权利要求2所述的基于人工智能的生成视频评论的方法，其中，所述获取所述待评论视频的多模态深度表示向量，包括：

获取所述待评论视频的图像特征向量、音频特征向量和文本特征向量中的至少两个特征向量；

将所获取的至少两个特征向量拼接成所述待评论视频的多模态特征融合表示向量；

将所述多模态特征融合表示向量转换为所述待评论视频的多模态深度表示向量。

4.如权利要求1所述的基于人工智能的生成视频评论的方法，还包括：

发布所生成的视频评论；或者

将所生成的视频评论提供为候选视频评论。

5.如权利要求3所述的基于人工智能的生成视频评论的方法，其中，所述获取所述待评论视频的图像特征向量包括：

从所述待评论视频抽取所述待评论视频的多个代表视频帧；

将所述多个代表视频帧转换为多个初步视频帧表示向量；以及

将所述多个初步视频帧表示向量转换为所述待评论视频的图像特征向量。

6.如权利要求3所述的基于人工智能的生成视频评论的方法，其中，所述获取所述待评论视频的音频特征向量包括：

从所述待评论视频抽取所述待评论视频的多个代表音频片段；以及

将所述多个代表音频片段转换为所述待评论视频的音频特征向量。

7.如权利要求3所述的基于人工智能的生成视频评论的方法，其中，所述获取所述待评论视频的文本特征向量包括：

获取所述待评论视频的标题、描述和字幕；

将所述待评论视频的标题、描述和字幕转换为编码隐藏状态向量；

将所述编码隐藏状态向量转换为所述待评论视频的文本特征向量。

8.如权利要求2所述的基于人工智能的生成视频评论的方法，其中，所述基于所述待评论视频的多模态深度表示向量，获取与所述待评论视频相似的相似视频集包括：

将所述待评论视频的多模态深度表示向量作为查询键，

利用所述查询键，从检索数据库中获取与所述待评论的视频相似的多个备选视频，

利用所述多个备选视频构建相似视频集；

其中，所述检索数据库包括所述视频库中多个视频的视频信息，其中每个视频的视频信息包括所述视频的唯一标识符、以及所述视频的多模态深度表示向量。

9.如权利要求1所述的基于人工智能的生成视频评论的方法，其中，所述基于相似视频集的历史评论集生成待评论视频的视频评论包括：

对于所述历史评论集中的每个历史评论，将所述历史评论转换为历史评论表示向量；

将所述待评论视频的多模态深度表示向量与所述历史评论表示向量拼接成视频评论融合表示向量；

基于所述视频评论融合表示向量，获取所述历史评论与所述待评论视频的相关性评分；以及

将所述相关性评分满足预定条件的历史评论作为所述待评论视频的视频评论。