[发明专利]一种基于注意力和有效程度的BERT模型打分方法

说明书

本发明涉及打分方法技术领域，具体涉及一种基于注意力和有效程度的BERT模型打分方法，包括以下步骤：(1)取待打分的数据集，将数据集进行有效程度的预处理，(2)在BERT模型的网络层后，引入注意力机制，(3)采用引入注意力机制的BERT模型，对预处理后的数据集进行打分处理；本发明针对待打分的数据集，通过对数据清洗，能够有效的去除数据中的无关符号，有效的提升了数据集中数据的有效程度，采用具有很强特征抽取能力的BERT模型进行打分处理，并在BERT模型中引入注意力机制，极大的提升了BERT模型的性能，可以关注句子中不同类别的语义信息，能够在提升注意力和有效程度的基础上，有效的实现打分的准确性以及速度。

技术领域

本发明涉及打分方法技术领域，具体涉及一种基于注意力和有效程度的BERT模型打分方法。

背景技术

随着媒体形式的改变和发展，互联网中涌现了海量的文本数据，为了使人们能够精确、快速的获取自己想要的信息。目前文本题要生成技术按照其生成形式可分类为：抽取式与生成式。在抽取式摘要生成技术中通常对原文档中所有句子或词组，根据人类语言特征进行打分，选择分值高且冗余度较小的句子直接组成摘要，该方法实现起来较为简单，但是生成的题要往往存在语法错误、句子连贯性差等问题。而生成式方法相比而言所生成的摘要更符合人类撰写的标准，且句式整洁、可读性强，因而备受研究者关注。

随着预训练语言模型在自然语言处理多项任务中取得良好的效果，研究者们尝试将预训练模型引入到摘要生成任务中。但是目前使用于训练知识的模型所生成的中文题要质量并不理想，而且不能有效全面的表达出原文档的主要信息。

综上所述，研发一种基于注意力和有效程度的BERT模型打分方法，仍是打分方法技术领域中急需解决的关键问题。

发明内容

针对现有技术所存在的上述缺点，本发明在于提供一种基于注意力和有效程度的BERT模型打分方法，本发明针对待打分的数据集，通过对数据清洗，能够有效的去除数据中的无关符号，有效的提升了数据集中数据的有效程度，采用具有很强特征抽取能力的BERT模型进行打分处理，并在BERT模型中引入注意力机制，极大的提升了BERT模型的性能，可以关注句子中不同类别的语义信息，能够在提升注意力和有效程度的基础上，有效的实现打分的准确性以及速度，具有广泛的应用前景。

为实现本发明的目的，本发明提供了如下技术方案：

一种基于注意力和有效程度的BERT模型打分方法，包括以下步骤：

(1)获取待打分的数据集，将数据集进行有效程度的预处理；

(2)在BERT模型的网络层后，引入注意力机制；

(3)采用引入注意力机制的BERT模型，对预处理后的数据集进行打分处理。

本发明进一步设置为：在步骤(1)中，对数据集进行有效程度的预处理，包括以下步骤：

11)对数据集中的数据清洗，去除数据中的无关符号；

12)将清洗后的数据按照句子形式进行划分，并在每条句子前后分别加上识别标识。

本发明进一步设置为：在步骤11)中，数据清洗内容包括特殊标点符号、空白字符、空格、时间标识、非中文标点符号以及将英文单词大写转为小写。

本发明进一步设置为：在步骤12)中，按照设定的数据长度，将数据句子在长度范围内截断分割，然后在每条句子前后分别加上识别符号。

本发明进一步设置为：在步骤(2)中，所述的注意力机制是指分配给BERT模型的网络层输出的每个上下文特征向量不同的权重，获取句子的全局语义信息。

本发明进一步设置为：在步骤(3)中，对预处理后的数据集进行打分处理，包括以下步骤：