[发明专利]一种自回归弹幕生成方法和系统

说明书

本发明公开了一种自回归弹幕生成方法和系统。本方法为：1)选取一训练数据集对模型进行训练，所述模型包括双向编码器、自回归解码器和分类器；该训练数据集中的每条样本包括视频片段的图像截图，该视频片段的参考弹幕，该参考弹幕周围且发送时间在参考弹幕之前的一系列上下文弹幕，以及该视频片段所属视频的视频类别；2)对于当前播放的目标视频，当用户从该目标视频中选取一目标位置并输入弹幕文本时，将当前输入的弹幕文本作为参考弹幕，利用训练后的自回归解码器模块从该参考弹幕的首个词开始，依次将每个词作为生成目标弹幕的提示词，最终生成该目标位置的弹幕文本。本发明大大改善了目前网站中的候选弹幕质量。

技术领域

本发明涉及自然语言生成领域，特别涉及一种针对弹幕视频的自回归弹幕生成方法和系统。

背景技术

包含弹幕的视频是一种新型视频，观众可以通过发送弹幕实现对视频的实时评论。在播放视频时，弹幕会显示在视频的右侧或直接显示在视频上。因此观众不仅可以实时评论他们正在观看的内容，还可以回复其他人的评论。

由于弹幕视频是一种新兴的视频类型，如何吸引新的用户一直是所有此类服务提供商需要面对的问题。不同于用户可以直接观看、以视频内容为最主要卖点的普通视频，包含弹幕的视频则在用户交互等方面更加关注。而新用户在首次观看此类视频的情况下，由于弹幕的多样性和高噪声的特点，其很可能很难从庞大而多样的现有弹幕中学习到如何发送自己的弹幕与其他用户互动。因此，与搜索引擎提供的搜索建议一样，在发布评论时，一些视频观众可能希望从自动生成的候选弹幕评论中进行选择，从而简化发送弹幕的过程。目前，某些网站使用简单的候选弹幕集合中的随机文本向用户提供候选弹幕。但此类方法效果较差，这些候选文本信息量较低，且使用场景受到限制，用户只能选择候选弹幕，无法实现针对视频内容和周围弹幕的特定弹幕内容选择。

为了实现对弹幕文本的自动生成，需要利用自然语言生成领域的技术。随着深度神经网络和自然语言生成技术的发展，目前主流生成方法采用编码器-解码器结构，实现文本上下文的编码和文本生成。然而，目前传统的弹幕生成模型在生成弹幕时，没有考虑其高噪声、多样性等特点，这导致其解码器倾向于生成流行和一般的弹幕，这使得生成的弹幕包含的信息量较低，生成效果较差。此外，部分现有模型将弹幕生成任务和弹幕视频相关性任务结合在同一解码器中，影响了生成效果。

发明内容

根据上述发展现状，本发明的目的在于提出一种基于双向编码器和自回归解码器的自回归弹幕生成方法和系统。本发明针对弹幕文本在时序上差异性的问题，引入了弹幕发布时间，考虑不同文本发布时间属性对于弹幕生成任务的影响。本发明将视频分割为片段，并针对每个视频片段中的弹幕文本、按一定间隔截取的视频图像等信息引入基于Transformer的双向编码器，实现了对视频和弹幕的多种信息的融合。此外，模型通过将数据集中用户实际发送的弹幕作为参考弹幕，并将其首词作为提示词，实现了基于提示词的可控弹幕自回归生成，从而帮助网络服务提供商实现用户引导的功能，改善目前网站中的候选弹幕质量。

为了达到上述目的，本发明采用了以下方案：

一种自回归弹幕生成方法，其步骤包括：

1)选取一训练数据集对模型进行训练，所述模型包括双向编码器、自回归解码器和分类器；该训练数据集中的每条样本包括视频片段的图像截图，该视频片段的参考弹幕，该参考弹幕周围且发送时间在参考弹幕之前的一系列上下文弹幕，以及该视频片段所属视频的视频类别；其中对所述模型训练方法为：