[发明专利]一种面向网格社情研判的双重语义相似度判别方法

权利要求书

1.一种面向网格社情研判的双重语义相似度判别方法，其特征在于，所述方法包括以下步骤：

步骤1)获取训练语料库；

步骤2)输入训练语料库，利用BERT模型提取训练语料库中语料对的特征向量a和特征向量b；

步骤3)通过抽象语义和具体语义相结合的相似度计算模型对特征向量a和特征向量b进行初步相似度计算并生成中间判别结果；

步骤4)将中间判别结果进行线性组合；

步骤5)通过线性判别模型cX1+dX2对中间判别结果进行二次计算；

步骤6)利用二次计算结果，通过Sigmoid函数对线性判别模型进行参数调优，并生成最终的相似度判别模型；

步骤7)利用BERT模型提取从多源网页上新采集的待判别的文本大数据的特征向量a和特征向量b；

步骤8)对输入的文本特征向量a和文本特征向量b执行训练好的相似度判别模型cX1+dX2；

步骤9)将相似度判别结果存入到HBASE中；

所述步骤1)具体如下：

步骤1-1基于预设的业务关键词，从微博、重大新闻网站、重点论坛多源网页中采集文本大数据，形成初始舆情语料库；

步骤1-2输入初始舆情语料库，利用BERT模型提取初始舆情语料库中语料对的特征向量a和特征向量b；

步骤1-3通过抽象语义和具体语义相结合的相似度计算模型对特征向量a和特征向量b进行相似度计算；

所述步骤1-3中相似度计算模型分别对输入的特征向量a和特征向量b进行欧式距离计算和余弦夹角计算；

步骤1-4将相似度计算结果与人工设定的阈值进行比较，将舆情语料库中具体语义和抽象语义相似度计算结果明显不在阈值范围内的语料过滤掉；

所述步骤1-4中，阈值的设定依赖于对初始舆情语料库中部分语料进行相似度计算的结果；

步骤1-5对过滤后的语料对进行人工相似度标注；

所述步骤1-5人工相似度标注后的语料文本形成了训练语料库，

所述步骤3中相似度计算模型分别对输入的特征向量a和特征向量b进行欧式距离计算和余弦夹角计算,通过分别计算向量夹角余弦值和向量欧式距离的归一化值得到相似度值，并作为中间判别结果；

所述步骤4将中间判别结果进行线性组合，具体如下：

所述步骤4中间判别结果为欧式距离计算结果X1和余弦夹角计算结果X2的线性组合，更进一步的计算结果表示为布尔值，其中0为相似，1为不相似，

所述步骤5中，cX1+dX2中的c和d值由Sigmoid函数训练最终确定,

所述步骤6中利用二次计算结果，通过Sigmoid函数对线性判别模型进行参数调优，并生成最终的相似度判别模型。

2.根据权利要求1所述的面向网格社情研判的双重语义相似度判别方法，其特征在于，所述步骤8)中相似度判别模型c和d的值已通过Sigmoid函数确定，其中c值为0.9，d值为0.1。