[发明专利]一种自回归弹幕生成方法和系统

权利要求书

1.一种自回归弹幕生成方法，其步骤包括：

1)选取一训练数据集对模型进行训练，所述模型包括双向编码器、自回归解码器和分类器；该训练数据集中的每条样本包括视频片段的图像截图，该视频片段的参考弹幕，该参考弹幕周围且发送时间在参考弹幕之前的一系列上下文弹幕，以及该视频片段所属视频的视频类别；其中对所述模型训练方法为：

首先将每条样本的上下文弹幕和视频片段的图像截图输入到双向编码器中进行编码，并将得到的上下文弹幕文本的独热编码表示和该图像截图的图像向量将相链接，作为输入向量序列，再将该输入向量序列中每个向量在该输入向量序列中的位置按顺序列出，得到一位置向量序列；然后将该位置向量序列与该输入向量序列相加后进行编码，得到一输出向量并输入到分类器中；然后分类器将当前样本的所述输出向量和给定弹幕作为输入，预测给定弹幕和所述输出向量属于同一视频的概率并计算模型预测的交叉熵损失，然后根据此损失对所述模型进行反向传播更新分类器和双向编码器的参数；其中所述给定弹幕为当前样本的参考弹幕或者其他样本的参考弹幕；

将当前样本的所述输出向量输入到自回归解码器中，自回归解码器根据所述输出向量得到当前样本的视频类别的预测概率；再将当前样本的参考弹幕的每个词依次加入到输入弹幕序列，输出对于当前输入词的下一个词的预测概率；然后计算预测概率结果与真实的视频类别之间的损失以及预测每个词的概率与参考弹幕词之间的损失，从而得到自回归解码器的损失，并根据损失函数进行分享传播更新自回归解码器和双向编码器参数；

2)对于当前播放的目标视频，当用户从该目标视频中选取一目标位置并输入弹幕文本时，将当前输入的弹幕文本作为参考弹幕，利用训练后的自回归解码器模块从该参考弹幕的首个词开始，依次将每个词作为生成目标弹幕的提示词，最终生成该目标位置的弹幕文本。

2.如权利要求1所述的方法，其特征在于，将该双向编码器最后一个隐状态作为所述输出向量。

3.如权利要求2所述的方法，其特征在于，所述分类器为基于Transformer的分类器；所述自回归解码器为基于Transformer的自回归解码器。

4.如权利要求1或2或3所述的方法，其特征在于，使用resnet网络将视频图像表示为视频图像向量。

5.一种自回归弹幕生成系统，其特征在于，包括双向编码器模块、自回归解码器模块和分类器模块；其中，

所述双向编码器模块，用于将视频片段的上下文弹幕和视频片段的图像截图进行编码，并将得到的上下文弹幕文本的独热编码表示和该图像截图的图像向量将相链接，作为输入向量序列，再将该输入向量序列中每个向量在该输入向量序列中的位置按顺序列出，得到一位置向量序列；然后将该位置向量序列与该输入向量序列相加后进行编码，得到一输出向量；

所述自回归解码器模块，用于根据所述输出向量得到当前视频的视频类别；以及根据参考弹幕和视频图像对目标弹幕的词进行预测，生成目标弹幕；

所述分类器模块，用于利用双向编码器模块的输出向量和给定弹幕进行二分类，判断给定弹幕是否和双向编码器模块的输入属于同一视频。

6.如权利要求5所述的系统，其特征在于，所述分类器为基于Transformer的分类器；所述自回归解码器为基于Transformer的自回归解码器。

7.如权利要求5所述的系统，其特征在于，将该双向编码器最后一个隐状态作为所述输出向量。