[发明专利]一种自然语言处理方法、装置、设备和计算机可读存储介质

说明书

本公开的实施例提供了自然语言处理方法、装置、设备和计算机可读存储介质。所述方法包括获取待处理自然语言信息；将所述待处理自然语言信息输出入到自然语言处理模型中，得到相应的自然语言理解；其中，所述自然语言处理模型包括多头自我注意机制。以此方式，可以有效地容纳来自任何量的输入，同时大幅提升了训练速度和训练效果。

技术领域

本公开的实施例一般涉及深度学习技术领域，并且更具体地，涉及一种自然语言处理方法、装置、设备和计算机可读存储介质。

背景技术

随着医疗数据的不断增加，面对浩如烟海的信息资源库时，如何从中获取需要的准确信息，已成为人们面临的一个重要的问题。

目前，深度学习方法已经被广泛用于解决自然语言处理的问题，语境特征在中文分词中一直扮演着重要的角色。作为上下文特征之一的词特征信息在许多传统的基于字符的分词器中被证明是有效的。然而，在神经网络模型中，这一特点受到的关注较少。

因此，设计一个能够将来自不同单词量的单词信息集成到现有神经网络框架中的框架，是目前本领域技术人员急需解决的问题。

发明内容

根据本公开的实施例，提供了一种自然语言处理方案。

在本公开的第一方面，提供了一种自然语言处理方法。该方法包括：

获取待处理自然语言信息；

将所述待处理自然语言信息输出入到自然语言处理模型中，得到相应的自然语言理解；

其中，所述自然语言处理模型包括多头自我注意机制。

进一步地，所述自然语言处理模型通过如下步骤进行训练：

基于预设的基准数据集，生成训练样本集合，其中，训练样本包括带有标注信息的自然语言对应的特征向量；

利用所述训练样本集合中的样本，对自然语言处理模型进行训练，以自然语言对应的特征向量为输入，以对所述自然语言的分词结果为输出，当输出的分词结果与标注的分词结果的统一率满足预设阈值时，完成对自然语言处理模型的训练。

进一步地，

通过预设的标注体系对训练样本中的自然语言进行标注；其中所述预设的标注体系包括CTB6。

进一步地，所述自然语言处理模型包括由6个相同层组成的解码器；

其中，每一层均包括两个子层。

进一步地，所述两个子层分别为多头自我注意机制和全连接前馈网络。

进一步地，所述自然语言模型的解码器包括两个注意力机制的子层。

在本公开的第二方面，提供了一种自然语言处理装置。该装置包括：

获取模块，用于获取待处理自然语言信息；

处理模块，用于将所述待处理自然语言信息输出入到自然语言处理模型中，得到相应的自然语言理解；

其中，所述自然语言处理模型包括多头自我注意机制。

进一步地，所述自然语言处理模型通过如下步骤进行训练：

基于预设的基准数据集，生成训练样本集合，其中，训练样本包括带有标注信息的自然语言对应的特征向量；

利用所述训练样本集合中的样本，对自然语言处理模型进行训练，以自然语言对应的特征向量为输入，以对所述自然语言的分词结果为输出，当输出的分词结果与标注的分词结果的统一率满足预设阈值时，完成对自然语言处理模型的训练。