[发明专利]基于BERT的自然语言处理方法及相关设备

说明书

本申请涉及人工智能技术领域，具体提供了一种基于BERT的自然语言处理方法及相关设备，其中，该方法包括：获取自然语言文本的词向量；按照第一CUDA程序，将自然语言文本的词向量加载至图形处理器中，以使图形处理器基于自然语言文本的词向量，采用并行处理的方式得到查询矩阵、键矩阵和值矩阵，并将查询矩阵、键矩阵和值矩阵存放至内存中；按照第二CUDA程序，从内存中获取查询矩阵、键矩阵和值矩阵，将查询矩阵、键矩阵和值矩阵加载至图形处理器中，以使图形处理器基于查询矩阵、键矩阵和值矩阵，采用并行处理的方式得到自然语言文本的第一注意力特征。本申请实施例有利于提升自然语言处理的效率。

技术领域

本申请涉及机器学习技术领域，尤其涉及一种基于BERT的自然语言处理方法及相关设备。

背景技术

自然语言处理(Natural Language Processing)是人工智能领域研究的热点之一，如何让计算机读懂人类的语言是NLP技术的重点，随着研发力度的加大，NLP技术已经取得了突破性进展，在智能问答、机器翻译、垃圾邮件过滤等众多细分领域均可见到NLP的身影。NLP技术通常依赖于NLP模型，谷歌研发团队推出的BERT(Bidirectional EncoderRepresentations from Transformers，基于Transformers的双向编码表示)是近些年使用最为广泛，且表现较好的NLP模型，但是BERT的模型参数量非常巨大，过亿级的参数使得BERT在批量处理的场景下，需要耗费数百毫秒。可见，目前基于BERT的自然语言处理，存在处理效率较低的问题。

发明内容

针对上述问题，本申请提供了一种基于BERT的自然语言处理方法及相关设备，有利于提升自然语言处理的效率。

为实现上述目的，本申请实施例第一方面提供了一种基于BERT的自然语言处理方法，该方法包括：

获取自然语言文本的词向量；

按照第一CUDA程序，将自然语言文本的词向量加载至图形处理器中，以使图形处理器基于自然语言文本的词向量，采用并行处理的方式得到查询矩阵、键矩阵和值矩阵，并将查询矩阵、键矩阵和值矩阵存放至内存中；

按照第二CUDA程序，从内存中获取查询矩阵、键矩阵和值矩阵，将查询矩阵、键矩阵和值矩阵加载至图形处理器中，以使图形处理器基于查询矩阵、键矩阵和值矩阵，采用并行处理的方式得到自然语言文本的第一注意力特征。

结合第一方面，在一种可能的实施方式中，将自然语言文本的词向量加载至图形处理器中，以使图形处理器基于自然语言文本的词向量，采用并行处理的方式得到查询矩阵、键矩阵和值矩阵，包括：

将自然语言文本的词向量加载至图形处理器中，以使图形处理器基于自然语言文本的词向量构建对应的查询向量、键向量和值向量；

从内存中获取查询权重矩阵、键权重矩阵和值权重矩阵；

将查询权重矩阵、键权重矩阵和值权重矩阵加载至图形处理器中，以使图形处理器基于查询向量和查询权重矩阵、键向量和键权重矩阵、以及值向量和值权重矩阵并行计算出查询矩阵、键矩阵和值矩阵。

结合第一方面，在一种可能的实施方式中，将查询矩阵、键矩阵和值矩阵加载至图形处理器中，以使图形处理器基于查询矩阵、键矩阵和值矩阵，采用并行处理的方式得到自然语言文本的第一注意力特征，包括：

将查询矩阵、键矩阵和值矩阵加载至图形处理器中，以使图形处理器基于查询矩阵、键矩阵和值矩阵并行计算出注意力权重；

将注意力权重与值矩阵相乘，得到自然语言文本的第一注意力特征。

结合第一方面，在一种可能的实施方式中，查询矩阵、键矩阵和值矩阵为多头注意力机制中每一头注意力机制的输入，第一注意力特征为每一头注意力机制的输出，该方法还包括：