[发明专利]一种食品安全舆情分析技术抽取方法

说明书

本发明提供了一种食品安全舆情分析技术抽取方法，筛选食品安全内容，所述筛选食品安全内容包括关键词匹配法和无监督聚类分类法，语义情感分析，所述语义情感分析包括bert预训练模型和oftmax分类，信息提取，所述信息提取包括prompt tuning和KEP主体观点抽取，食品安全舆情分析在食品安全研究中起到重要的辅助作用，随着人工智能的发展，舆情分析与自然语言处理技术结合越发紧密，在舆情分析中，流程大概是搜集新闻，筛选内容，针对和食品安全相关的新闻进行情感分析，完成舆情分析的初筛，接下来对情感分析结果为P积极和N消极的新闻进行事件分析以及风险抽取。

技术领域

本发明涉及食品安全舆情分析技术抽取方法领域，具体而言，涉及一种食品安全舆情分析技术抽取方法。

背景技术

食品安全舆情分析在食品安全研究中起到重要的辅助作用，随着人工智能的发展，舆情分析与自然语言处理技术结合越发紧密，现有的食品安全缺少一种食品安全舆情分析技术抽取方法，因此我们对此做出改进，提出一种食品安全舆情分析技术抽取方法，在舆情分析中，流程大概是搜集新闻，筛选内容，针对和食品安全相关的新闻进行情感分析，完成舆情分析的初筛，接下来对情感分析结果为P(积极)和N(消极)的新闻进行事件分析以及风险抽取。

发明内容

本发明的目的在于：针对目前存在的背景技术提出的问题，为了实现上述发明目的，本发明提供了以下技术方案：一种食品安全舆情分析技术抽取方法，以改善上述问题，本申请具体是这样的：包括以下步骤，S1筛选食品安全内容，所述筛选食品安全内容包括S11关键词匹配法和S12无监督聚类分类法；S2语义情感分析，所述语义情感分析包括S21bert预训练模型和S22softmax分类；S3信息提取，所述信息提取包括S31prompt tuning和S32SKEP主体观点抽取。

作为本申请优选的技术方案，述S1筛选食品安全内容中S11中关键词匹配法中，S111筛选食品安全内容需要Query和网页正文content的语义相关度，所述Query与所述content的匹配使用短文本长文本语义匹配；S112计算相似度，计算分布生成短文本的概率作为相似度值；S113文档关键词抽取，抽取关键词做标签tag并设置主题模型估算文档产生单词的概率。

作为本申请优选的技术方案，所述S11中关键词匹配法中S112计算相似度的公式为：

其中，q表示Query，c表示content，w表示q中的词，z_k表示第k个主题；

所述S11中关键词匹配法中S113文档关键词抽取估计文档产生单词的概率公式为：

p(w∣d)＝k＝1∑Kp(w∣zk)p(zk∣d)；

其中，d表示文档内容，w表示词，zk表示第k个主题；

所述S11中关键词匹配法中S113文档关键词抽取TWE训练得到主题和单词向量表示公式为：

Similarity(w,d)＝k＝1∑Kcos(vm,zk)p(zk|d)；

其中，d表示文档内容，w表示词，zk表示第k个主题。

作为本申请优选的技术方案，所述S1筛选食品安全内容中S12无监督聚类分类法中进行KNN聚类，分成两类取其中心点，选取内容与食品安全无关者作为参照点并设定一阈值，计算目标新闻舆情与其距离，距离小于该阈值为食品安全数据。

作为本申请优选的技术方案，所述S2语义情感分析中S21bert预训练模型中包括S211模型架构；S212BERT输入和输出的表示；S213BERT的预训练；S214BERT的微调。