[发明专利]基于BERT模型的数据处理方法、装置、设备及可读存储介质

说明书

本发明涉及一种人工智能，提供一种基于BERT模型的数据处理方法、装置、电子设备及计算机可读存储介质，其中方法包括：通过scrapy爬虫工具获取预设数据提取范围内与目标数据相关的文本数据；对文本数据进行分词和向量化处理，获取文本数据的分词向量；通过预先训练的BERT模型对分词向量进行训练处理，获取所述文本数据的情感极性；其中，情感极性包括情感正向和情感负向；根据文本数据的情感极性构建目标数据的数据变化指数；根据数据变化指数，获取预设工作日内目标数据的数据变化信息；采用logistic回归函数对数据变化信息进行分类处理，获取目标数据的数据变化趋势。本发明主要目的在于通过对股评的情感分析获取正确的投资决策。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于BERT模型的数据处理方法、装置、电子设备及计算机可读存储介质。

背景技术

现在股票投资者在进行投资决策时，容易受到自身的因素如情感与心理因素的影响。基于股票市场，股市作为宏观经济的晴雨表，同时也会受各种政策、新闻、舆论的影响，容易波动剧烈。随着互联网技术的发展，人们日益倾向于在网络平台上表达和交流，实时股评中往往包含着丰富的金融信息，体现投资者的情感及心理变化；目前股票投资者大都采用的一般简单的模型对金融信息进行分析处理，但是由于模型的简单化，模型不能对含着丰富的金融信息进行充分分析和计算，最后得到的投资决策并不准确，。

因此，为了解决上述问题，对股市的股评信息进行挖掘分析以及股评的情感分析，获取准确的投资决策，本发明亟需提供一种基于BERT模型的数据处理方法、装置、电子设备及计算机可读存储介质。

发明内容

本发明提供一种基于BERT模型的数据处理方法、装置、电子设备及计算机可读存储介质，其主要目的在于通过对股评的情感分析，获取正确的投资决策。

为实现上述目的，本发明提供的基于BERT模型的数据处理方法，应用于电子设备所述方法包括：

通过scrapy爬虫工具获取预设数据提取范围内与目标数据相关的文本数据；

对所述文本数据进行分词和向量化处理，获取文本数据的分词向量；

通过预先训练的BERT模型对所述分词向量进行训练处理，获取所述文本数据的情感极性；其中，所述情感极性包括情感正向和情感负向；

根据所述文本数据的情感极性构建所述目标数据的数据变化指数；

根据所述数据变化指数，获取预设工作日内所述目标数据的数据变化信息；

采用logistic回归函数对所述数据变化信息进行分类处理，获取所述目标数据的数据变化趋势。

可选地，所述通过scrapy爬虫工具获取预设数据提取范围内与目标数据相关的文本数据，包括如下步骤：

采用Scrapy框架构建社交网络爬虫系统，采用分布式爬虫算法获取社交网络中目标股票的股票评论信息、时间戳和评论人资料信息；其中，所述目标数据为所述目标股票，所述目标数据相关的文本数据为所述股票评论信息、时间戳和评论人资料信息；

将爬取的目标股票的股票评论信息、时间戳和评论人资料信息保存到MongoDB数据库中。

可选地所述对所述文本数据进行分词和向量化处理，获取文本数据的分词向量，包括如下步骤：

根据词性对获取的文本数据进行分词处理，获取文本分词，其中，所述词性包括动词、名词、形容词、副词；

将获取的文本分词与预训练BERT模型的词典中的词条进行匹配，获取文本数据中每个文本分词的文本分词向量。

可选地，所述通过预先获取的预训练BERT模型对所述分词向量进行训练处理，获取所述文本数据的情感极性，包括如下步骤：