[发明专利]文章领域相关度评估方法、装置、计算机设备和存储介质

说明书

本发明涉及自然语言处理技术领域，提供了一种文章领域相关度评估方法、装置、计算机设备和存储介质，所述方法包括：获取待评估文章的字词序列，分别对所述字词序列中的各个字词进行标签标记，得到所述字词序列的标签序列；根据预设转换规则将所述标签序列转换为权重数值序列，若存在两个及以上的标签序列，则将各所述权重数值序列归约为一个最终的权重数值序列；对预设区间等量划分后，分别计算所述权重数值序列在每等份内的权重分布概率，得到权重分布概率序列；基于预设权重对所述权重分布概率序列进行权重抑制后计算对应的熵值，得到所述待评估文章的特征值；根据所述特征值确定所述待评估文章与领域的相关度。采用本方法能够提高评估准确性。

技术领域

本发明属于自然语言处理技术领域，尤其涉及一种文章领域相关度评估方法、装置、计算机设备和存储介质。

背景技术

文章领域相关度评估是指评估出一篇文章所表达的内容与某个目标领域的相关程度的过程。传统有两种方法对文章领域相关度进行评估，一是基于字词的统计模型，其主要利用统计学语言模型生成特征后通过相似度确定文章的领域相关度。二是基于神经网络的方法，其主要采用基于神经网络的语言模型对文章进行向量表征后，利用回归模型或者二分类模型进行相关度判断。

然而，基于字词统计学的模型文章字词的语言能力有限，难以挖掘字词的深层语义信息，而基于神经网络的方式虽然能够捕获深层语义信息的，但是神经网络模型因计算复杂且参数量大等问题常常对文章的长度有限制，不宜直接处理长文章，从而降低了评估的准确性。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高评估准确性的文章领域相关度评估方法、装置、计算机设备和存储介质。

本发明提供一种文章领域相关度评估方法，包括：

获取待评估文章的字词序列，分别对所述字词序列中的各个字词进行标签标记，得到所述字词序列的标签序列；

根据预设转换规则将所述标签序列转换为权重数值序列，若存在两个及以上的标签序列，则将各所述权重数值序列归约为一个最终的权重数值序列；

对预设区间等量划分后，分别计算所述权重数值序列在每等份内的权重分布概率，得到权重分布概率序列；

基于预设权重对所述权重分布概率序列进行权重抑制后计算对应的熵值，得到所述待评估文章的特征值；

根据所述特征值确定所述待评估文章与领域的相关度。

在其中一个实施例中，所述分别对所述字词序列中的字词进行标签标记，得到所述字词序列的标签序列，包括以下任一种或多种：

第一种：分别对所述字词序列中的字词进行实体识别，得到各所述字词的实体标签，根据各所述字词的实体标签得到所述字词序列的实体标签序列；

第二种：分别对所述字词序列中的字词进行属性关系抽取，得到各所述字词的属性关系标签，根据各所述字词的属性关系标签得到属性关系标签序列；

第三种：基于预设关键词及标签类型，分别对所述字词序列中的字词进行映射转换，确定各所述字词的自定义标签；根据各所述自定义标签得到所述字词序列的自定义标签序列。

在其中一个实施例中，所述将各所述权重数值序列归约为一个最终的权重数值序列，包括：

利用聚合函数将各所述权重数值序列中相同位置的权重数值分别进行聚合，确定各个位置对应的聚合权重；

根据所述聚合权重构建得到最终的权重数值序列。

在其中一个实施例中，所述对预设区间等量划分后，分别计算所述权重数值序列在每等份内的权重分布概率，得到权重分布概率序列，包括：

根据所述权重数值序列的长度确定预设区间并进行区间的等量划分；