[发明专利]基于BERT模型的数据处理方法、装置、设备及可读存储介质

权利要求书

1.一种基于BERT模型的数据处理方法，应用于电子设备，其特征在于，所述方法包括：

通过scrapy爬虫工具获取预设数据提取范围内与目标数据相关的文本数据；

对所述文本数据进行分词和向量化处理，获取文本数据的分词向量；

通过预先训练的BERT模型对所述分词向量进行训练处理，获取所述文本数据的情感极性；其中，所述情感极性包括情感正向和情感负向；

根据所述文本数据的情感极性构建所述目标数据的数据变化指数；

根据所述数据变化指数，获取预设工作日内所述目标数据的数据变化信息；

采用logistic回归函数对所述数据变化信息进行分类处理，获取所述目标数据的数据变化趋势。

2.如权利要求1所述的基于BERT模型的数据处理方法，其特征在于，所述通过scrapy爬虫工具获取预设数据提取范围内与目标数据相关的文本数据，包括如下步骤：

采用Scrapy框架构建社交网络爬虫系统，采用分布式爬虫算法获取社交网络中目标股票的股票评论信息、时间戳和评论人资料信息；其中，所述目标数据为所述目标股票，所述目标数据相关的文本数据为所述股票评论信息、时间戳和评论人资料信息；

将爬取的目标股票的股票评论信息、时间戳和评论人资料信息保存到MongoDB数据库中。

3.如权利要求1所述的基于BERT模型的数据处理方法，其特征在于，所述对所述文本数据进行分词和向量化处理，获取文本数据的分词向量，包括如下步骤：

根据词性对获取的文本数据进行分词处理，获取文本分词，其中，所述词性包括动词、名词、形容词、副词；

将获取的文本分词与预训练BERT模型的词典中的词条进行匹配，获取文本数据中每个文本分词的文本分词向量。

4.如权利要求1所述的基于BERT模型的数据处理方法，其特征在于，

所述通过预先获取的预训练BERT模型对所述分词向量进行训练处理，获取所述文本数据的情感极性，包括如下步骤：

采用BERT模型中的runclassifier.py脚本对所述分词向量进行预处理，获取预处理数据；同时，

对所述BERT模型进行预训练，获取训练好的具有文本数据对应的情感类别的BERT模型；

将获取的预处理数据输入到训练好的具有文本数据对应的情感类别的BERT模型中进行处理，获取文本数据的情感极性。

5.如权利要求1所述的基于BERT模型的数据处理方法，其特征在于，

所述数据变化指数的公式如下：

其中，r_p表示正向情感极性评论的影响力贡献率；

c_p表示正向情感极性的影响程度；

r_n表示负向情感极性评论的影响力贡献率；

c_n表示负向情感极性的影响程度；

t表示评论者的在线时长，p表示正向情感，n表示负向情感。

6.如权利要求5所述的基于BERT模型的数据处理方法，其特征在于，

所述采用logistic回归函数对所述数据变化信息进行分类处理，获取所述目标数据的数据变化趋势，包括如下步骤：

采用logistic回归函数对预设工作日内目标股票的跌涨信息进行分类处理，其中，

当所述目标股票的数据变化指数大于0.5时，则确定所述目标股票的变化趋势。