[发明专利]一种基于注意力和有效程度的BERT模型打分方法

权利要求书

1.一种基于注意力和有效程度的BERT模型打分方法，其特征在于，包括以下步骤：

(1)获取待打分的数据集，将数据集进行有效程度的预处理；

(2)在BERT模型的网络层后，引入注意力机制；

(3)采用引入注意力机制的BERT模型，对预处理后的数据集进行打分处理。

2.根据权利要求1所述的一种基于注意力和有效程度的BERT模型打分方法，其特征在于，在步骤(1)中，对数据集进行有效程度的预处理，包括以下步骤：

11)对数据集中的数据清洗，去除数据中的无关符号；

12)将清洗后的数据按照句子形式进行划分，并在每条句子前后分别加上识别标识。

3.根据权利要求1所述的一种基于注意力和有效程度的BERT模型打分方法，其特征在于，在步骤11)中，数据清洗内容包括特殊标点符号、空白字符、空格、时间标识、非中文标点符号以及将英文单词大写转为小写。

4.根据权利要求1所述的一种基于注意力和有效程度的BERT模型打分方法，其特征在于，在步骤12)中，按照设定的数据长度，将数据句子在长度范围内截断分割，然后在每条句子前后分别加上识别符号。

5.根据权利要求1所述的一种基于注意力和有效程度的BERT模型打分方法，其特征在于，在步骤(2)中，所述的注意力机制是指分配给BERT模型的网络层输出的每个上下文特征向量不同的权重，获取句子的全局语义信息。

6.根据权利要求1所述的一种基于注意力和有效程度的BERT模型打分方法，其特征在于，在步骤(3)中，对预处理后的数据集进行打分处理，包括以下步骤：

21)设输入的句子为S，其含有t个字符，且t在设定的数据长度内，则将{[CLS]，P₁,P₂，...，P_t，[SEP]}作为BERT模型的输入序列，其中，[CLS]为开始识别标识，[SEP]为结束识别标识，P_t为该句子中的单个字符；

22)获取句子S的表示序列W＝[W₁，W₂，W₃，...，W_m]；

23)将序列W＝[W₁，W₂，W₃，...，W_m]作为BERT模型网络层的输入序列，得到句子S在网络层的输出序列K＝[K₁，K₂，K₃，...，K_m]；

24)引入注意力机制，获取句子的全局语义信息，即获取句子关系预测的向量M；

25)将整个句子的向量M放入到softmax分类器中，对实体关系类型进行预测，获取打分结果。

7.根据权利要求6所述的一种基于注意力和有效程度的BERT模型打分方法，其特征在于，在步骤24)中，关系预测的向量M＝Kα^T，其中α＝softmax(Y^TQ)，Q＝tan m(M),Q为待学习的参数矩阵。

8.根据权利要求6所述的一种基于注意力和有效程度的BERT模型打分方法，其特征在于，在步骤25)中，打分结果输出公式为：G＝argmaxJ(g/S)，其中，J(g/S)＝softmax(QM+d)，d为偏差向量，Q为参数矩阵。