[发明专利]文本处理方法、装置、电子设备及存储介质

说明书

本公开提供了文本处理方法、装置、电子设备及存储介质，涉及深度学习以及自然语言处理等人工智能领域，其中的方法可包括：针对待处理的文本，分别设置采用多头注意力机制的Transformer模型中的各头对应的注意力模式，其中，至少一个头与其它N‑1个头对应的注意力模式不同，N表示头数，为大于一的正整数；利用所述Transformer模型进行文本处理。应用本公开所述方案，可提升模型性能及相应地提升文本处理效果等。

技术领域

本公开涉及人工智能技术领域，特别涉及深度学习以及自然语言处理等领域的文本处理方法、装置、电子设备及存储介质。

背景技术

在实际应用中，可借助于转换器(Transformer)模型实现对于待处理的文本的预定处理，如机器翻译、情感识别等。

Transformer模型通常采用多头注意力(multi-head-attention)机制，即包括多个注意力模块，时间复杂度很高，而且所述时间复杂度会随着文本长度的增大而增大，文本长度通常是指词例(token)数量。

为降低时间复杂度，提升文本处理效率，可采用计算稀疏化方法，如稀疏自注意力(Longformer)方法，但这种方法中每个头(head)都采用相同的注意力模式(attentionpattern)，从而影响了模型性能，降低了文本处理效果等。

发明内容

本公开提供了文本处理方法、装置、电子设备及存储介质。

一种文本处理方法，包括：

针对待处理的文本，分别设置采用多头注意力机制的转换器Transformer模型中的各头对应的注意力模式，其中，至少一个头与其它N-1个头对应的注意力模式不同，N表示头数，为大于一的正整数；

利用所述Transformer模型进行文本处理。

一种文本处理装置，包括：设置模块以及处理模块；

所述设置模块，用于针对待处理的文本，分别设置采用多头注意力机制的转换器Transformer模型中的各头对应的注意力模式，其中，至少一个头与其它N-1个头对应的注意力模式不同，N表示头数，为大于一的正整数；

所述处理模块，用于利用所述Transformer模型进行文本处理。

一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。

一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如以上所述的方法。

一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如以上所述的方法。

上述公开中的一个实施例具有如下优点或有益效果：各个头不再采用相同的注意力模式，而是不同的头可对应不同的注意力模式，从而增大了token之间的连通性，进而提升了模型性能，并相应地提升了文本处理效果等。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开所述文本处理方法实施例的流程图；

图2为本公开所述设置各头分别对应的全局模式的方法实施例的流程图；