[发明专利]一种基于集成学习的线上内容热度预测方法

权利要求书

1.一种基于集成学习的线上内容热度预测方法，其特征在于，包括以下步骤：

S1，预测预料的选择与爬取；

S2，对爬取语料进行预处理；

S3，对预处理后的语料向量化，确定热度阈值；

S4，模型训练与集成；

所述步骤S4具体包括以下步骤：

S41，选取训练模型，根据单个模型的训练结果选择结果最好的2-3个模型；

S42，对选择的基础模型进行集成学习；

S43，对于需要预测的线上内容，首先向量化其标题、话题和内容，采用已训练好的模型进行预测；

步骤S42所述的集成学习包括以下内容：

当话题向量o是p维的o＝[o₁,o₂,…,o_p]，内容向量c是q维的c＝[c₁,c₂,…,c_q]，标题向量t也是q维的t＝[t₁,t₂,…,t_q]，输入变量x＝[o,c,t]＝[o₁,o₂,…,o_p,c₁,c₂,…,c_q,t₁,t₂,…,t_q]，为了体现内容和标题对文章热度的贡献，使用x＝[o,c’,t’]替代[o,c,t]，其中c’＝αc，t’＝(1-α)t，其中α为贡献参数，热度阈值τ可由训练数据信息源的热度分布决定；

设定从互联网获取的线上内容数据的全集为D＝{d₁,d₂,…,d_n}，其中d_i为包含题目和内容的文章，每个基础模型的训练集相同，都为U＝{d₁,d₂,…,d_m}，其中mn；相应地，测试集V＝D-U；其中k个基础模型可视为k个函数F₁-F_k；每个函数F_i都可以在训练集U上使用随机梯度下降得以训练；参数α和τ都需要在训练前确定。

2.根据权利要求1所述的基于集成学习的线上内容热度预测方法，其特征在于，所述步骤S1具体包括以下步骤：

S11，确定训练语料爬取的数据来源，选择数据来源时需要考虑数据来源的访问量，数据源与需要预测内容的相似度；

S12，确定需要爬取的内容框架，包括爬取标题和内容；

S13，确定用于预测热度的衡量参数；

S14，编写爬虫爬取相应的内容，并保存至相应的数据库中。

3.根据权利要求2所述的基于集成学习的线上内容热度预测方法，其特征在于，所述步骤S13中用于预测热度的衡量参数包括点击数、评论数、点赞数和转发数。

4.根据权利要求1所述的基于集成学习的线上内容热度预测方法，其特征在于，所述步骤2具体包括以下步骤：

S21，将爬取的语料采用simhash法计算相似度，并删除重复的语料；

S22，利用停用词典将语料中的停用词去掉。

5.根据权利要求4所述的基于集成学习的线上内容热度预测方法，其特征在于，步骤S22中所述的停用词为没有实际意义的连接词或语尾助词。

6.根据权利要求1所述的基于集成学习的线上内容热度预测方法，其特征在于，所述步骤S3具体包括以下步骤：

S31，根据使用场景的具体需求和数据源的数据特性确定热度阈值，选定热度的评价标准；

S32，将语料主题采用话题产生模型进行向量化，可根据语料内容自动区分语料的主题，并将所述语料向量化；采用Doc2vec将语料的内容和标题进行向量化，并与主题向量联合为训练模型的输入向量。

7.根据权利要求6所述的基于集成学习的线上内容热度预测方法，其特征在于，步骤S32中话题产生模型需要根据语料指定话题的种类，包括娱乐、体育、教育和科技中的至少一个。

8.根据权利要求1所述的基于集成学习的线上内容热度预测方法，其特征在于，所述训练集选自与预测内容相近的并且有热度标识的数据。