[发明专利]一种基于注意力特征信息的BERT模型融合方法

说明书

本发明公开了一种基于注意力特征信息的BERT模型融合方法，该方法利用每个原模型对输入文本的隐藏表示信息，来计算每个原模型的权重，然后利用每个原模型的权重信息，对原模型的注意力特征信息进行加权融合，最后利用融合后的注意力特征信息对新模型进行调整，提高新模型的表现效果。该方法可以充分利用BERT模型的注意力特征信息，提高融合后BERT模型的表现效果。相比于其他融合方法，本方法可以有效地完善融合后模型的注意力特征信息，使得融合后的模型对文本的注意力特征更加完整，进而提高融合后模型的表现效果。

技术领域

本发明涉及BERT模型复用和BERT模型融合领域，尤其是涉及了一种基于注意力特征信息的BERT模型融合方法。

背景技术

BERT模型融合是一项重要的模型融合任务，其目的在于对多个单任务上微调好的BERT 模型进行融合和复用，生成一个可以在多任务表现良好的新BERT模型。

目前的模型融合方法多是集中于图像识别领域和卷积网络，而对于自然语言处理和BERT 模型融合的方法相对较少，这些方法往往并不能充分地利用原有BERT模型的特征信息，所以融合后的BERT模型并不能达到较好的表现效果。

目前BERT模型复用方法多集中于单个BERT模型的知识蒸馏与复用，侧重于对原有模型的压缩，没有考虑对多个BERT模型之间的特征融合，更没有考虑对BERT新模型多任务处理能力的提升。

发明内容

本发明的目的在于针对现有BERT模型融合技术的不足，提出了一种基于注意力特征信息的BERT模型融合方法，本发明可以完善融合后BERT模型的注意力特征信息，提高融合后模型的表现效果。

本发明的目的是通过以下技术方案来实现的：一种基于注意力特征信息的BERT模型融合方法，该方法的具体步骤如下：

(1)首先，对于给定的多个原模型，构建出每个模型对于输入文本的隐藏表示信息，用来表征对应模型对于输入文本的编码信息。

(2)然后，利用每个原模型的隐藏表示信息与输入文本的特征信息的差异，来计算每个模型的权重信息。

(3)之后，利用每个原模型的权重信息，对模型内部的注意力特征信息进行加权融合，生成融合后的注意力特征信息。

(4)最后，利用融合后的注意力特征信息，来完成新模型的训练，生成表现效果更好和泛化能力更强的新模型。

本发明具有的有益效果是：本发明基于注意力特征信息的BERT模型融合方法，对融合后BERT模型的注意力特征信息进行了完善，生成表现效果更好并且泛化能力更强的新BERT 模型。新模型可以在对应任务上代替对应的原模型，拥有更强的泛化能力，相比于原模型，更适合于相对复杂的应用场景。

附图说明

图1是本发明具体实施步骤流程图；

图2是本发明提出的BERT模型融合方法模块图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所述实施例是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的其他实施例，都属于本发明的保护范围。

本发明针对BERT模型融合任务，利用无标注数据，对多个原BERT模型的注意力特征信息进行融合，生成表现效果和泛化能力更好的新BERT模型。

如图1所示，本发明的具体实施过程和工作原理如下：

1.准备原模型，利用不同任务上的标注数据对BERT模型进行微调，得到不同任务上微调后的BERT模型，作为原模型。