[发明专利]针对网络平台发文的关键词提取方法、装置、介质及设备

说明书

本发明公开了一种针对网络平台发文的关键词提取方法、装置、介质及设备，所述方法包括：获取网络平台发文的文本内容、具有时间累积性质的统计量和文本发酵时间；判断关键词对应的分析目标是否具有时间累积性质；若是，则根据文本发酵时间、标准化函数对统计量进行标准化处理，根据处理后的统计量获取分析目标对应的分析类别及其第一概率分布；若否，则根据预设分类确定分析目标对应的分析类别及其第一概率分布；根据语言模型预测文本内容在分析类别上的第二概率分布；根据第一概率分布、第二概率分布获得文本内容中的每一个词语的梯度；根据每一个词语的梯度获取关键词的提取结果。采用本发明的技术方案能够提高关键词提取的准确性。

技术领域

本发明涉及互联网大数据处理技术领域，尤其涉及一种针对网络平台发文的关键词提取方法、装置、计算机可读存储介质及终端设备。

背景技术

针对网络平台博主的发文内容进行关键词提取，是一项文本分析方面的重要技术，该技术本身是通过对发文内容进行统计分析，计算词语的出现频率，或者计算词组之间的共现频率，来提取发文中的重要关键词。

但是，现有的关键词提取技术，在数据收集以及针对不同分析目标的关键词提取方面，还存在两个未解决的问题；其中，第一个问题是：在数据收集阶段，现有的数据获取途径无法保证不同的发文具有相同的文本发酵时间（文本发酵时间由文本收集时间减去文本发布时间获得），这就导致了在一些具有时间累积性质的统计量（即受时间影响的统计量，如发文的评论数等）的获取方面，存在数据的非对齐现象，进而容易导致在以一些具有时间累积性质的分析对象为分析目标（即受时间影响的分析目标，如发文的互动量等）时，关键词提取过程中会产生目标统计量收集不对称的问题，从而影响关键词提取的准确性；第二个问题是：当关键词对应的分析目标发生变化时，如以情感倾向为分析目标提取关键词，变成以发文互动量为分析目标提取关键词，现有技术无法适应这种切换，同样会影响关键词提取的准确性。

发明内容

本发明实施例的目的在于，提供一种针对网络平台发文的关键词提取方法、装置、计算机可读存储介质及终端设备，能够解决在分析目标具有时间累积性质的情况下的统计量收集不对称的问题，并且能够适用于不同的分析目标切换，从而提高关键词提取的准确性。

为了实现上述目的，本发明实施例提供了一种针对网络平台发文的关键词提取方法，包括：

获取网络平台发文的文本内容、具有时间累积性质的统计量和文本发酵时间；

判断关键词对应的分析目标是否具有时间累积性质；

若是，则基于所述文本发酵时间，根据预设的标准化函数对所述统计量进行标准化处理，根据处理后的统计量获取所述分析目标对应的分析类别及其第一概率分布；若否，则根据预设分类确定所述分析目标对应的分析类别及其第一概率分布；

根据训练后的语言模型预测所述文本内容在所述分析类别上的第二概率分布；

基于所述第一概率分布和所述第二概率分布，利用反向传播获得所述文本内容中的每一个词语的梯度；

根据所述每一个词语的梯度，获取在所述分析目标下的关键词的提取结果；

所述基于所述文本发酵时间，根据预设的标准化函数对所述统计量进行标准化处理，具体包括：

选择N个标准化函数及其参数取值范围；其中，N≥2，所述N个标准化函数为连续型概率密度函数，且满足概率密度随时间先增后减的趋势；

通过K折交叉验证确定所述N个标准化函数及其参数取值范围中的最佳标准化函数及其最佳参数取值，并将所述最佳标准化函数及其最佳参数取值作为所述预设的标准化函数；

基于所述文本发酵时间，根据所述最佳标准化函数及其最佳参数取值对所述统计量进行标准化处理，获得所述处理后的统计量。