[发明专利]弹幕文本相似度计算方法、存储介质、设备及系统

说明书

本发明公开了一种弹幕文本相似度计算方法、存储介质、设备及系统，涉及大数据处理领域，包括:对弹幕A和弹幕B的文本进行分词，得出弹幕A和弹幕B的相同词项，以及相同词项的最小词频；计算相同词项在弹幕A和弹幕B文本中的所占比例；计算基于相同词项词频的弹幕A和弹幕B的文本相似度；将弹幕A和弹幕B的文本通过word2vec模型映射为空间向量，然后基于余弦相似度算法计算弹幕A和弹幕B在文本空间的文本相似度；对弹幕A和弹幕B基于相同词项词频的文本相似度，以及在文本空间的文本相似度进行权重计算，得到弹幕A和弹幕B的最终相似度。本发明能够有效保证计算得到弹幕文本间相似度的准确性。

技术领域

本发明涉及大数据处理领域，具体涉及一种弹幕文本相似度计算方法、存储介质、设备及系统。

背景技术

随着移动互联网的飞速发展，直播行业也呈现出蓬勃发展之势，越来越多的年轻人喜欢通过观看直播的方式来打发业余时间。

用户在观看直播的过程中，会通过发送弹幕文本的方式与主播或其它用户进行互动，但是在某些热门主播的直播间，由于该直播间用户数量较多，导致该直播间的弹幕量非常巨大，若对于用户发送的每一条弹幕均进行展示，便会导致弹幕铺满整个直播画面，为保证用户的观看体验，直播平台会对弹幕文本间的相似度进行计算，若2条弹幕相识度较高，则仅展示2条弹幕中的1条弹幕，现有技术中对于弹幕相似度的计算有余弦相似度、欧式距离算法等，但这些算法通常只考虑了2条弹幕在空间中的距离，导致弹幕间相似度的计算不够准确。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种弹幕文本相似度计算方法、存储介质、设备及系统，能够有效保证计算得到弹幕文本间相似度的准确性。

本发明第一方面提供一种弹幕文本相似度计算方法，包括以下步骤：

对弹幕A和弹幕B的文本进行分词，得出弹幕A和弹幕B的相同词项，以及相同词项的最小词频；

计算相同词项在弹幕A和弹幕B文本中的所占比例；

计算基于相同词项词频的弹幕A和弹幕B的文本相似度；

将弹幕A和弹幕B的文本通过word2vec模型映射为空间向量，然后基于余弦相似度算法计算弹幕A和弹幕B在文本空间的文本相似度；

对弹幕A和弹幕B基于相同词项词频的文本相似度，以及在文本空间的文本相似度进行权重计算，得到弹幕A和弹幕B的最终相似度。

结合第一方面，在第一种可能的实现方式中，所述计算相同词项在弹幕A和弹幕B文本中的所占比例，计算公式为：

其中，P(A,B)表示相同词项在弹幕A和弹幕B文本中的所占比例，word_i表示相同词项，n_i表示相同词项的最小词频，m表示相同词项的个数，L_A表示弹幕A的文本长度，L_B表示弹幕B的文本长度。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述计算基于相同词项词频的弹幕A和弹幕B的文本相似度，计算公式为：

其中，Sim_tf(A,B)表示基于相同词项词频的弹幕A和弹幕B的文本相似度。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述基于余弦相似度算法计算弹幕A和弹幕B在文本空间的文本相似度，计算公式为：

其中，sim_word2vec(A,B)表示弹幕A和弹幕B在文本空间的相似度，表示弹幕A通过word2vec模型映射后的空间向量，表示弹幕B通过word2vec模型映射后的空间向量，p表示的维数。