[发明专利]基于大数据的情感正负判断方法、装置、设备及存储介质

权利要求书

1.一种基于大数据的情感正负判断方法，其特征在于，所述基于大数据的情感正负判断方法包括以下步骤：

采用正则表达式对网络信息安全文本序列进行预处理，得到预处理文本序列，其中，所述预处理至少包括：无效词过滤、编码转换、半角全角标点处理和字符转换；

从预置算法集合中选择第一算法对所述预处理文本序列进行切分，得到切分结果，其中，所述预置算法集合包括：通过前向最大算法、后向最大算法和双向最大算法，所述切分结果包括不同组合、不同顺序和不同数目的数据；

通过关键字匹配算法将所述切分结果与预置词库中的关键字词进行匹配，得到匹配结果，判断所述匹配结果是否大于或等于预置匹配值；

若是，则将所述切分结果作为第一数据集，若否，则从预置算法集合中选择第二算法对所述预处理文本序列进行切分，得到切分结果，所述第一数据集包括一个或多个所述切分结果；

通过皮尔森相关系数算法计算所述第一数据集中的各个切分结果之间的相关关系，并得到所述切分结果之间具有相关关系的第二数据集；

通过词频和反向词频TF-IDF算法对所述第二数据集中的关键字进行初步提取，得到第一关键字集合,以及通过transformer算法对所述第一关键字集合进行进一步提取，得到第三数据集；

采用bert模型对所述第三数据集进行情感正负判断，输出情感正负判断结果；

在所述通过词频和反向词频TF-IDF算法对所述第二数据集中的关键字进行初步提取，得到第一关键字集合之前，还包括：

通过TF-IDF算法对预置训练样本进行关键字提取训练，并得到初始关键字；

将所述提取到的初始关键字与人工预先提取到的关键字进行比较，判断所述提取到的初始关键字的正确率是否大于或等于第一预设阈值；

若是，则得到第二关键字集合，若否，通过TF-IDF算法对预置训练样本进行关键字提取训练，并得到初始关键字；

采用所述第二关键字集合对transformer算法进行数据提取训练，得到初始第三数据集；

将所述初始第三数据集与人工预先提取到的第三数据集进行比较，判断所述初始第三数据集的正确率是否大于或等于第二预设阈值；

若所述初始第三数据集的正确率大于或等于所述第二预设阈值，则得到初始第三数据集，若所述初始第三数据集的正确率小于所述第二预设阈值，则通过反向传播算法调节所述transformer算法中向量矩阵的权重，直至所述初始第三数据集的正确率大于或等于所述第二预设阈值，所述向量矩阵包括Query向量，Key向量和Value向量，所述Query向量为当前词的向量以及周边词的词向量，所述Key向量是与所述当前词存在相关关系的词向量，所述Value向量用于反映当前词所呈现的真实内容。

2.如权利要求1所述的基于大数据的情感正负判断方法，其特征在于，在采用bert模型对所述第三数据集进行情感正负判断，输出情感正负判断结果的步骤之前，还包括以下步骤：

通过所述第三数据集按照预置训练次数对初始bert模型进行情感正负判断训练，得到初始情感正负判断结果，其中，所述预置训练次数至少为一千次；

根据预置情感正负判断结果判断所述初始情感正负判断结果是否大于或等于第一预置正确率；

若是，则得到bert模型，若否，则调节所述初始bert模型中各层transformer算法所占的权重，直至所述初始情感正负判断结果大于或等于所述第一预置正确率。

3.如权利要求1所述的基于大数据的情感正负判断方法，其特征在于，在所述通过词频和反向词频TF-IDF算法对第二数据集中的关键字进行初步提取，得到第一关键字集合,以及通过transformer算法对所述第一关键字集合进行进一步提取，得到第三数据集的步骤之后，还包括以下步骤：

通过方差贡献率的方法对第三数据集中的预置情感相关数据设置权重，所述方差贡献率的计算公式为：

，

其中，为方差贡献率，M为预置情感相关数据出现频率的平均值，X为出现的预置情感相关数据，n为预置情感相关数据出现的总次数，为预置情感相关数据X出现的次数为1次，为预置情感相关数据X出现的次数为2次，为预置情感相关数据X出现的次数为3次，所述预置情感相关数据包括：否定词和程度副词；

根据所述情感相关数据的权重，调整所述第三数据集所占权重，并通过softmax算法归一化处理后输出概率最大的第三数据集。