[发明专利]文本数据可视化分析方法、装置、设备及存储介质

说明书

本申请涉及人工智能技术，揭露了文本数据可视化分析方法、装置、设备及存储介质，包括获取多个待处理文本数据；对多个待处理文本数据进行关键词提取，得到待处理文本数据对应的关键词和权重；根据多个待处理文本数据以及对应的关键词和权重，利用可视化工具进行可视化展示，得到散点图；根据散点图，利用DBscan聚类模型进行聚类，得到聚类簇；基于各聚类簇，提取对应的关键词和待处理文本数据，得到聚类关键词和聚类文本数据；通过匹配模型对聚类关键词进行匹配，最终实现将各聚类文本数据连接起来，以构建知识图谱。本申请还涉及区块链技术，知识图谱存储于区块链中。本申请能提高处理效率的同时，还能去除噪音数据。

技术领域

本申请涉及人工智能技术领域，尤其涉及文本数据可视化分析方法、装置、设备及存储介质。

背景技术

在当今信息时代的背景下，获取信息的渠道多种多样，如道听途说，网上收集，实地考察等等，然而获取的信息量也是非常巨大的，然而从大量的信息中，归纳整理出有用的信息，就变的很困难，而且耗时耗力；在现有的数据筛选分析技术中，有通过人工将数据录入excel文档中，然后通过人工进行分析；也有利用模型进行文本数据关键词提取，来分析的，但对于上述方案，都存在筛选分析的效率不高，以及对于文本数据中的噪音数据无法去除的问题。因此，如何在提高筛选分析效率的前提下，对所述文本数据中噪音数据进行去除成为了亟待解决的问题。

发明内容

本申请提供了文本数据可视化分析方法、装置、设备及存储介质，以解决现有技术中筛选分析效率不高，且对文本数据中的噪音数据无法去除的问题。

为解决上述问题，本申请提供了文本数据可视化分析方法，包括：

获取多个待处理文本数据；

对多个所述待处理文本数据进行关键词提取处理，得到所述待处理文本数据对应的关键词及其权重；

根据所述多个待处理文本数据以及对应的所述关键词及其权重，利用可视化工具进行可视化展示，得到散点图；

根据所述散点图，利用DBscan聚类模型进行聚类分析，得到聚类簇；

基于各所述聚类簇，提取对应的所述关键词和待处理文本数据，得到聚类关键词和聚类文本数据；

以所述聚类文本数据为节点，所述聚类关键词为属性，通过预训练的匹配模型，对不同所述聚类文本数据对应的所述聚类关键词进行匹配，若所述聚类关键词匹配成功，则将对应的所述聚类文本数据进行连接，以构建知识图谱。

进一步的，所述获取多个待处理文本数据包括：

向数据库发送调用请求，所述调用请求携带验签令牌；

接收所述数据库返回的验签结果，并在验签结果为通过时，调用所述数据库中的文本数据，从而获取到所述多个待处理文本数据。

进一步的，所述对多个所述待处理文本数据进行关键词提取处理包括：

利用结巴分词对所述待处理文本数据进行分词处理以及停用词去除，得到对应的多个字词；

利用TF-IDF算法对所述多个字词进行关键词提取，并得到所述关键词对应的所述权重。

进一步的，所述利用结巴分词对所述待处理文本数据进行分词处理包括：

基于预设的Trie树扫描所述文本数据，识别所述文本数据中字词的多种切分组合；

基于识别到的所有切分组合构建有向无环图，利用所述有向无环图进行动态规划查找最大概率路径，确定最大概率的切分组合，基于所述最大概率的切分组合对待处理语句进行切词；

对于未被识别出的字词，采用隐马尔可夫模型进行切分。