[发明专利]一种训练自然语言处理模型的方法和系统

说明书

本申请实施例公开了一种训练自然语言处理模型方法及系统。所述方法包括：获取语言训练样本以及初始模型，所述初始模型包括第一模型以及第二模型，所述第一模型至少包含编码器，所述第二模型至少包含所述第一模型的编码器；以及利用所述语言训练样本，经过迭代训练过程训练所述初始模型以生成自然语言处理模型，其中，所述迭代训练过程包括一次或以上的迭代，所述编码器在每一次迭代中被更新两次。本申请在训练执行具体自然语言处理任务的第二模型时，先通过训练编码器的方式对语言训练样本进行预处理，可以解决自然语言处理过程中数据集较大的问题，提高训练效率以及准确率。

技术领域

本申请涉及自然语言处理领域，特别涉及一种训练自然语言处理模型的方法和系统。

背景技术

近年来，自然语言处理(NLP，Natural Language Processing)作为研究人与计算机交互的语言问题的基础，其融合了语言学、计算机科学、数学科学等，也是人工智能的核心课题之一。

目前，在例如语义分析、情感分类等具体的自然语言处理任务中，通常需要将海量的输入文本或语音转换文本数据，影响自然语言处理系统的效率及性能。

发明内容

本申请实施例之一提供一种训练自然语言处理模型的方法，以提高自然语言处理模型的训练效果和/或训练效率。

本申请实施例之一提供一种训练自然语言处理模型的方法。该方法包括获取语言训练样本以及初始模型，所述初始模型包括第一模型以及第二模型，所述第一模型至少包含编码器，所述第二模型至少包括所述第一模型的编码器。该方法进一步包括利用所述语言训练样本，经过迭代训练过程训练所述初始模型以生成自然语言处理模型。其中，所述迭代训练过程包括一次或以上的迭代，所述编码器在第一次迭代中被更新两次。

本申请实施例之一提供一种训练自然语言处理模型的系统。所述系统包括获取模块和训练模块。所述获取模块用于获取语言训练样本以及初始模型，所述初始模型包括第一模型以及第二模型，所述第一模型至少包含编码器，所述第二模型至少包括所述第一模型的编码器。所述训练模块用于利用所述语言训练样本，经过迭代训练过程训练所述初始模型以生成自然语言处理模型。其中，所述迭代训练过程包括一次或以上的迭代，所述编码器在每一次迭代中被更新两次。

本申请实施例之一提供一种训练自然语言处理模型的装置，包括处理器，所述处理器用于执行上述训练自然语言处理模型的方法。

本申请实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行上述训练自然语言处理模型方法。

附图说明

本申请将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本申请一些实施例所示的自然语言处理系统的应用场景示意图；

图2是根据本申请一些实施例所示的处理引擎的模块图；

图3是根据本申请一些实施例所示的训练自然语言处理模型的示例性流程图；

图4A是根据本申请一些实施例所示用于执行迭代训练过程中的一次当前迭代的示例性流程图；

图4B是根据本申请一些实施例所示的图4A中流程400的示例性示意图；

图5是根据本申请一些实施例所示的更新当前迭代中的第一模型的示例性流程图；以及

图6是根据本申请一些实施例所示的更新当前迭代中的第二模型的示例性流程图。

具体实施方式